Jdou zvěsti ve smyslu, že čínští programátoři z toho hardwaru dokázali vyrazit několikanásobný výkon pro AI akceleraci. Napsali si svůj software včetně driverů.
@Pavel Matějka
Věnovaly se tomu u Lexe Fridmana. Co tam padlo: Má jít primárně o knihovnu co má na starosti komunikaci mezi čipy, přičemž ta co se běžně používá pro nvidia karty je NCCL od právě nvidie. Přičemž ten velký rozdíl ve výkonu má být aspoň částečně dán tím že NCCL je v první řadě univerzální pro všechny karty nvidie se snahou minimalizovat rizika problémů s nekompatibilitou i za cenu poklesu efektivity, zatímco to co udělal deepseek je že šli na kost. Nejde při tom o to že by ostatní vždy používaly výchozí NCCL, ale též jedou na vlastních forcích, ale s optimalizací to nedotáhly tak daleko jako deepseek, protože neměly dostatečný tlak vzniklý omezeným importem GPU do číny. Tohle tuším nedokážeme ověřit, ale dává to smysl.
Další důvod je to že použili MoE s 256 experty po 4.1b parametrech, přičemž 8 expertů se podílí na každým tokenu, zatímco GPT4 má 16 expertů po 111b parametrů s 2 experty. Rozdělený na experty slouží k tomu aby jsi snížil výpočetní náročnost tréninku i inference, protože nemusíš zpracovávat celej model ale jen relevantní experty. 256 expertů je vcelku extrém. Protože model vydaly jako FOSS tak alespoň v expertech lhát nemohly.
To jestli použili i pašovaný grafiky nelze říct, ale tyhle dvě optimalizace dávají smysl jako možné.
Podle mnohem nudnějších, ale rovněž neověřených tvrzení jinde je rozdíl způsobený tím, že v Singapuru mají mnohé technologické firmy svoje regionální HQ, takže se nákupy účtují tam, i když pak jde karta jinam než do Singapuru nebo do Číny. Pokud jsou z tohoto historická data, dalo by se to ověřit.
Before Deepseek: "Well that's no surprise because Singapore has a lot of international companies HQ'd there and that's where it's billed"
@odb
Ty sankcie vymyslela vláda USA, ale obyvatelé USA nejsou tak blbí, aby si nechala ujít 20mld. konspirace: A vláda USA jim to toleruje, protože potřebné gesto již bylo učiněno.