Diskuze: Nvidie pro Čínu jdou možná přes Singapur, fakturuje se tu 20× více karet, než kolik se dodá

Akuh

Level

19. 2. 2025 18:42

Komentáře tohoto uživatele máš zablokované.

@Pavel Matějka Věnovaly se tomu u Lexe Fridmana. Co tam padlo:
Má jít primárně o knihovnu co má na starosti komunikaci mezi čipy, přičemž ta co se běžně používá pro nvidia karty je NCCL od právě nvidie. Přičemž ten velký rozdíl ve výkonu má být aspoň částečně dán tím že NCCL je v první řadě univerzální pro všechny karty nvidie se snahou minimalizovat rizika problémů s nekompatibilitou i za cenu poklesu efektivity, zatímco to co udělal deepseek je že šli na kost. Nejde při tom o to že by ostatní vždy používaly výchozí NCCL, ale též jedou na vlastních forcích, ale s optimalizací to nedotáhly tak daleko jako deepseek, protože neměly dostatečný tlak vzniklý omezeným importem GPU do číny. Tohle tuším nedokážeme ověřit, ale dává to smysl.

Další důvod je to že použili MoE s 256 experty po 4.1b parametrech, přičemž 8 expertů se podílí na každým tokenu, zatímco GPT4 má 16 expertů po 111b parametrů s 2 experty. Rozdělený na experty slouží k tomu aby jsi snížil výpočetní náročnost tréninku i inference, protože nemusíš zpracovávat celej model ale jen relevantní experty. 256 expertů je vcelku extrém. Protože model vydaly jako FOSS tak alespoň v expertech lhát nemohly.

To jestli použili i pašovaný grafiky nelze říct, ale tyhle dvě optimalizace dávají smysl jako možné.

odb

Level

19. 2. 2025 09:31

Komentáře tohoto uživatele máš zablokované.

@snajprik Tie sankcie nevymyslela EU ale USA.