OpenAI spune că nu este mulțumită de hardware-ul de inferență Nvidia, acum se uită la AMD, Cerebras, Groq

OpenAI nu mai este mulțumit de cipurile AI ale Nvidia, mai ales când vine vorba de viteza cu care pot răspunde utilizatorilor. Compania a început să caute alte opțiuni anul trecut, și acum discută cu AMD, Cerebras, și chiar discuta cu Groq înainte ca aceasta să fie închisă.

Această tensiune a devenit reală când OpenAI și-a dat seama că cipurile Nvidia nu erau suficient de rapide pentru lucruri specifice precum scrierea de cod și gestionarea sarcinilor software-to-software.

Un insider a declarat că OpenAI dorește ca noile cipuri să gestioneze cel puțin 10% din nevoile sale de inferență în viitor. Aceasta este partea în care AI răspunde utilizatorilor, nu partea în care învață lucruri.

OpenAI dorește cipuri mai rapide pentru codare și răspunsuri utilizatori

Cea mai mare parte a activității actuale a OpenAI rulează încă pe Nvidia, dar în culise, testează cipuri care ar putea face totul mai rapid.

Acestea includ cipuri dotate cu SRAM, care ajută la accelerare prin plasarea memoriei chiar lângă procesor. Nvidia și AMD folosesc încă memorie care se află în afara cipului, ceea ce încetinește lucrurile.

Persoane din interiorul OpenAI au indicat Codex, instrumentul care scrie cod, ca locul unde încetineala era cea mai mare problemă. Unii membri ai personalului au dat chiar vina pe performanța slabă pe hardware-ul Nvidia. Într-un apel de presă pe 30 ianuarie, CEO-ul OpenAI, Sam Altman, a spus: "Clienții care folosesc modelele noastre de codare vor acorda o mare importanță vitezei pentru activitățile de codare."

Sam a adăugat că utilizatorii obișnuiți de ChatGPT nu acordă atâta importanță vitezei, dar pentru dezvoltatori și companii, fiecare secundă contează. El a spus că OpenAI tocmai a semnat un contract cu Cerebras pentru a ajuta la accelerare.

În același timp, companii precum Anthropic și Google obțin rezultate mai bune folosind propriile cipuri. TPU-urile Google sunt construite special pentru tipul de muncă pe care îl necesită inferența. Asta le-a făcut mai rapide la răspuns, în special pentru modele precum Claude și Gemini.

Discuțiile OpenAI-Groq s-au încheiat după acordul de licență Nvidia

OpenAI era și în discuții cu Groq, un alt startup care construiește cipuri rapide, dar acele conversații nu au mers departe. Nvidia a venit și a semnat un acord de licențiere de 20 de miliarde de dolari cu Groq. Asta i-a oferit Nvidia acces la designurile Groq și a distrus planurile OpenAI de a lucra cu ei.

O sursă apropiată de situație a spus că cipurile Groq au fost construite exact pentru ceea ce avea nevoie OpenAI. Dar odată ce Nvidia a asigurat acordul, acea ușă s-a închis. Deși licența era non-exclusivă, Groq se concentrează acum pe software bazat pe cloud, iar Nvidia a luat câțiva dintre designerii de cipuri ai Groq pentru sine.

Cerebras, pe de altă parte, a spus nu când Nvidia a încercat să îi cumpere. În schimb, au mers mai departe și au făcut propriul lor acord cu OpenAI. Groq a primit și oferte de investiție care îi evaluau valoarea la aproximativ 14 miliarde de dolari, dar asta s-a schimbat acum, deoarece este legat de Nvidia.

OpenAI nu a renunțat complet la Nvidia. Într-o declarație publică, un purtător de cuvânt a spus: "Ne bazăm pe Nvidia pentru a alimenta marea majoritate a flotei noastre de inferență" și a numit performanța lor pe dolar cea mai bună de pe piață. Nvidia a spus de asemenea: "Clienții continuă să aleagă Nvidia pentru inferență deoarece oferim cea mai bună performanță și costul total de proprietate la scară."

Acordul de investiție Nvidia de 100 de miliarde de dolari încă blocat în incertitudine

Anul trecut, Nvidia a spus că plănuiește să investească până la 100 de miliarde de dolari în OpenAI. Acei bani erau destinați să îi ajute pe OpenAI să cumpere cipuri mai avansate, iar în schimb, Nvidia ar fi obținut o participație în companie. Reuters a spus că acordul trebuia să se încheie în câteva săptămâni. Încă nu s-a întâmplat.

În timp ce acel acord s-a blocat, OpenAI a mers mai departe și a semnat acorduri cu AMD și alții pentru a testa cipuri care ar putea concura direct cu cele ale Nvidia. Dar pe măsură ce OpenAI și-a schimbat planurile de produs, tipul de hardware de care avea nevoie s-a schimbat și el. Asta a încetinit și mai mult discuțiile, a spus cineva familiarizat cu situația.

Sâmbătă, CEO-ul Nvidia, Jensen Huang, a fost întrebat despre fricțiune. El a spus: "Asta e nonsens" și a insistat că Nvidia încă plănuiește să investească mult în OpenAI. Dar în culise, este clar că ambele părți își explorează opțiunile.

În același timp, Nvidia a căutat noi idei de cipuri. A contactat atât Cerebras, cât și Groq pentru a vedea dacă ar fi deschiși să fie cumpărați. Cerebras a refuzat și a dublat angajamentul față de acordul cu OpenAI.

Chiar acum, OpenAI folosește GPT4o pentru a alimenta majoritatea serviciilor sale. Dar așa cum merg lucrurile, cel puțin o parte din acea muncă va rula pe cipuri de la AMD sau Cerebras în viitorul apropiat. Compania nu încearcă să renunțe complet la Nvidia, dar este clar că dorește mai mult control asupra vitezei cu care funcționează sistemele sale.

Ascuțiți-vă strategia cu mentorat + idei zilnice - acces gratuit de 30 de zile la programul nostru de tranzacționare