Společnost AMD chce také více prorazit v oblasti AI, a tak kupuje startup Taalas. Ten vyvíjí čipy, které jsou přímo cílené na jedno zabudované LLM.
AMD je zatím ve stínu Nvidie v oblasti AI, nicméně postupně se jí daří zvyšovat svůj tržní podíl. V poslední době je AI hodně o inferenci, tedy běhu natrénovaných algoritmů, přičemž Nvidia zde nedávno udělala nemalý skok kupředu nákupem startupu Groq za 20 mld. USD. AMD opakuje podobný krok a v jeho případě se dohodla se společností Taalas, která vyvíjí speciální inferenční čipy.
Ty jsou zajímavé tím, že se specializují na jeden jediný model, pro který je čip přímo hardwarově stavěn. Nelze tedy na něm rozeběhnout žádný jiný model. Váhy jsou tak napevno “vestavěné do křemíku” a např. nynější čip má tímto způsobem vestavěný malý model Meta Llama 3.1 8B, tedy několik GB dat v ROM. Model tak nemusí být uložen ve VRAM, jak je dnes obvyklé, paměť pro váhy modelu má čip sám a jsou v něm tedy neměnná data. Tokeny jsou pak ukládány do SRAM paměti.
Vše tak může běžet velmi rychle přímo v čipu, aniž ten by musel čekat na paměťové přesuny do a z paměti VRAM. Výhodou je, že takový čip dokáže zpracovat až 16 tisíc tokenů za sekundu (to odpovídá tak 6-10 tisícům českých slov), zatímco s běžnou herní GPU budete spíše na desítkách až nízkých stovkách.
Technologie Taalasu má doplnit řešení AMD, tyto čipy se tak objeví v racku Helios a budou součástí roadmapy AI akcelerátorů, kdy mají vytvářet systémová řešení spolupracující s GPU Instinct a CPU EPYC. To za předpokladu, že akvizice proběhne a schválí ji všichni příslušní tržní regulátoři.
