Situace kolem AI akcelerátorů je jasně ve prospěch Nvidie, která díky svému HW i SW získává obrovské příjmy. Nová studie ukazuje, jak je na tom výsledný provoz AI serverů a pro AMD to není dobré.
Finanční výsledky Nvidie jsou poslední roky opravdu hodně dobré. Nemůže za to ale těžba kryptoměn jak před několika lety v době kryptoměnové horečky, ale umělá inteligence a akcelerátory pro její trénování a inferenci (běh natrénovaných algoritmů). Jasnou jedničkou je již zmíněná Nvidia, jejíž finanční výsledky ukázaly příjmy divize Data Center činily 39,1 mld. USD, což je 12krát tolik, co 3,2 mld. USD od AMD, které v tom má zahrnuty i velmi úspěšné serverové procesory EPYC. Data ze studie Morgan Stanley Research i ukazují, proč je takový zájem o řešení od Nvidie a nikoli od AMD. To nemá špatný hardware, ale celkový balíček HW a SW má Nvidia podstatně lepší, což ukazují data týkající se provozu výsledných „AI továren“.
Morgan Stanley vypracoval odhady toho, jaké budou náklady a zisky provozu 100MW AI serveru. Měli jsme tu Nvidii HGX H200 i GB200 NVL72, Google TPU v5e i v6e, od AMD pak platformu MI300X a novější MI355X, dále zde byl Huawei CloudMatrix 384 a Amazon Trn2 UltraServer. Naprostou jedničkou byla Nvidia GB200 NVL72. Ta by majiteli přinesla zisk 3,5 mld. USD a marži 77,6 %. Vysokou marži měl také TPU v6e, a to 74,9 %, jenže tam byly celkové zisky pod 1,5 mld. USD. Bohužel obě řešení od AMD byly jedinými, které jsou podle Morgan Stanley ztrátovými. V případě MI300X šlo o -64 %, u MI355X to bylo sice jen -28,2 %, ale i to je záporné číslo. A když provozujete AI server, chcete vydělávat, nikoli prodělávat.
Další tabulka ukázala příjmy na GPU za hodinu. Opět vedlo GB200 NVL72, kde to na jedno GPU bylo 7,5 USD a ani 3,7 USD u HGX H200 nebylo špatné. Ostatní se pak pohybovaly okolo 1,4-2,0 USD (pouze TPU v5e bylo na 0,5 USD).
Jako poslední tu máme náklady na inferenci AI u 100MW serveru s modelem Llama 2 70B. Zde jsou sice řešení od Nvidie z těch nejdražších, bohužel pro AMD není jeho provoz výrazně levnější (589-774 mil. USD proti 715-807 mil. USD), resp. máme tu sice o něco nižší cenu za provoz, ale Nvidia to více než dohání podstatně vyššími příjmy. Ostatní řešení, a to zejména od Googlu a AWS, sice nepotěšily moc vysokými příjmy, ale za to se zde odměnily nízkými náklady.
Zdroj: wccftech.com
