Diskuze: AMD odmítlo nabídku otestování svých karet MI300X v AI benchmarku MLPerf

JUWARE

Level

25. 6. 2024 12:25

Komentáře tohoto uživatele máš zablokované.

@Milan Šurkala S tím si dovolím nesouhlasit.

Pokud uděláme příměr ke grafickým kartám, určeným pro hraní her, tak si ji jistě také nevybíráte podle toho, která dostala nejvíce bodů v 3DMarku, nebo snad ano? Ono totiž jakési skóre v syntetickém testu benchmarku je vždy sice hezký údaj, ale často zavádějící a nevypovídající o tom, jak se bude reálně chovat v konkrétní situaci.

Navíc samotný výkon není jediný aspekt, který je třeba zohlednit. Také je tu spolehlivost, cena, cena za výkon, funkce, možnosti uživatelské volnosti (rozuměj, kolik si toho může uživatel sám nastavit a do jaké míry) a s tím spojený doprovodný software. Dále délka a rozsah technické podpory, četnost aktualizací atd.

A nakonec tu máme alternativy v podobě konkurence. MLPref není jediný benchmark. A AMD se mohlo třeba rozhodnout preferovat DAWNBench, AI Benchmark, Deep500, nebo jiný. Nevím to, jen zmiňuji jako možnost. Může také využít vlastní metodiky a AMD se například může domnívat, že kód MLPref by mohl znevýhodnit jejich akcelerátory, protože jsou třeba lépe optimalizované pro konkurenční systémy.

Osobně bych v odmítnutí neviděl vůbec problém a sám bych si na základě testů v benchmarku nepořídil nic. Pouze by to mohl být jeden z několika srovnávacích aspektů, které by mohly přispět k lepšímu výběru, ale určitě ne pouze z něj.

Milan Šurkala

SHW

25. 6. 2024 12:40

Komentáře tohoto uživatele máš zablokované.

@Milan Šurkala "tak si ji jistě také nevybíráte podle toho, která dostala nejvíce bodů v 3DMarku, nebo snad ano?"

Jenže 3DMark je v podstatě jedno nebo více umělých čísel. MLPerf prezentuje výsledky v reálných modelech, které na tom pravděpodobně poběží. Je to výrazně odlišný typ benchmarku.

"Ono totiž jakési skóre v syntetickém testu benchmarku je vždy sice hezký údaj, ale často zavádějící a nevypovídající o tom, jak se bude reálně chovat v konkrétní situaci."

A to je právě ono. To se týká syntetických benchmarků a v tom s Vámi naprosto souhlasím. MLPerf ale není syntetický benchmark. Ukazuje výsledky v těch modelech, které na tom většinou poběží. To není nějaké syntetické číslo, ale třeba výsledek v Llama2-70B. Tedy číslo velmi praktické.

"Navíc samotný výkon není jediný aspekt, který je třeba zohlednit. "

To také nikdo netvrdí a ani to není úlohou benchmarku.

"A nakonec tu máme alternativy v podobě konkurence. "

Ano, to máme.

"Osobně bych v odmítnutí neviděl vůbec problém a sám bych si na základě testů v benchmarku nepořídil nic."

Tak já v něm problém také nevidím. Jen se dívejme na MLPerf jako na to, co to je, a ne to, co to není. Je to prostě uznávaný typ benchmarku, který testuje akcelerátory na modelech, které se reálně používají, neprodukuje syntetické výsledky, ale produkuje výsledky, které se týkají reálného nasazení a v dané oblasti se standardně považují za vypovídající a věrohodné.

jt

Level

26. 6. 2024 09:22

Komentáře tohoto uživatele máš zablokované.

@Milan Šurkala Nie som si istý, či dosť dobre rozumiem vašim argumentom.
Za prvé, píšete o nejakých syntetických a praktických testoch. Ak je jeden konkrétny test praktický a množstvo konkrétnych testov zhrnutých do jedného výsledku syntetický, tak OK. Ale aj ten syntetický predsa používa praktické testy (word, excel, ...).
Za druhé, nebol to Intel, čo si priohol (GeekBench?) tak, aby mu vychádzali výsledky lepšie?
Aký je problém, aby test MLPerf bol naprogramovaný tak, aby zvýhodnil jeden akcelerátor? Veď stačí, aby nepoužil nejakú funkciu, ktorou efektívnejšie spracuje výpočty akcelerátor AMD a okamžite je znevýhodnený.

Milan Šurkala

SHW

26. 6. 2024 09:40

Komentáře tohoto uživatele máš zablokované.

@Milan Šurkala "Ale aj ten syntetický predsa používa praktické testy ​(word, excel, ...​). "

Může a nemusí. Tady ale není výsledkem jedno syntetické číslo, nýbrž ty dílčí výsledky v jednotlivých úlohách. Takže nedostanete souhrnný výsledek pro úlohy AI, ale třeba pro Stable Diffusion verze X.Y s daným nastavením, pro Llama2-70B,...

"Za druhé, nebol to Intel, čo si priohol ​(GeekBench?​) tak, aby mu vychádzali výsledky lepšie? "

Právě o to jde. Když ty testy nedělá výrobce, ale nezávislá entita, která je publikuje, tak toto přiohýbání výrobcem HW eliminujete. Tomu nicméně stále zbývá cherry-picking, který jde v této oblasti vidět u všech a všude (ať už jde o procesor nebo akcelerátor, u nikoho se nesetkáte, že by v prezentacích publikoval konzistentně výsledky tak, aby se to dalo rozumně srovnat - tu je srovnána novinka v dvou modelech s jedním CPU/GPU, další slajd má v jiné konfiguraci CPU/GPU najednou úplně jiné modely,...)

"Veď stačí, aby nepoužil nejakú funkciu, ktorou efektívnejšie spracuje výpočty akcelerátor AMD a okamžite je znevýhodnený."

Ano, to je riziko.

hoch

Level

25. 6. 2024 08:19

Komentáře tohoto uživatele máš zablokované.

@komplikator Nevim nakolik je ta firma uznavana v oboru a kdo se vysledky jejich testu ridi pri rozhodovani o nakupu. Ale hadam, ze tyhle karty se prodavaji ve velkem firmam, ktere vedi, co potrebuji, a umeji si otestovat pouzitelnost proo jejich aplikace sami. A pri vysoke poptavce a omezene vyrobe da amd asi radsi vzorky partnerum, ze kterych kouka vetsi prodej, nez testerum.

Taky jo otazka, co znamena "two boxes". Tyhle karty se asi neprodavaji v maloobchodnim baleni, tak to nemusi znamenat dve karty. Navic to nejsou karty, ktere se strkaji po jedne do PC, ale provozuji se v serverech osazenych nekolika kartami a vykon karet bude asi zaviset i na konfiguraci serveru. Slovo box tedy muze znamenat i kompletne osazeny server a pak se dostavame na o dost vyssi castky.

kutil05

Level

25. 6. 2024 08:28

Komentáře tohoto uživatele máš zablokované.

@komplikator Já to pochopil jako několik krabic. A k té konfiguraci, budu vycházet ze dvou faktů. Sice mají rozhraní PCIe 16x 5.0, ale nejsou běžného formátu a dávají se naležato. Taky proto, že se chladí vodou stejně jako CPU. A konfigurace dle toho, jak se dělají superpočítače s MI200 řadou. 2x 64 jader EPYC a na to dva akcelerátory. Co vím, u MI300 je to velmi podobné. Trošku kopírování od AMD:

External Power Connectors 54V UBB
Typical Board Power (TBP) 750W Peak

GPU Form Factor OAM Module
Bus Type PCIe® 5.0 x16

Čistě teoreticky při menším počtu a pokud nevadí větší výška řešení jednoho "patra" to jde i vzuchem chadit.

komplikator

Level

25. 6. 2024 15:02

Komentáře tohoto uživatele máš zablokované.

@komplikator A jak ty velkenfirmy vedi co potrebuji? Tim ze si to zjisti. Bud si to zjistit na vlastni triko nebo si nekoho najmou at vyhodnoti vhodnost nabikdy na trhu za ne. Muze to byt levnější i kdyz se bavime o miluonu dolaru.

kutil05

Level

26. 6. 2024 00:10

Komentáře tohoto uživatele máš zablokované.

@komplikator Vrobci sami si dávají záležet, aby ty samotné dílčí výsledky výkonu měli přesně. A AMD jich uvádí hodně:

Peak Eight-bit Precision (FP8) Performance (E5M2, E4M3) 2.61 PFLOPs
Peak Eight-bit Precision (FP8) Performance with Structured Sparsity (E5M2, E4M3) 5.22 PFLOPs
Peak Half Precision (FP16) Performance 1.3 PFLOPs
Peak Half Precision (FP16) Performance with Structured Sparsity 2.61 PFLOPs
Peak Single Precision (TF32 Matrix) Performance 653.7 TFLOPs
Peak Single Precision (TF32) Performance with Structured Sparsity 1.3 PFLOPs
Peak Single Precision Matrix (FP32) Performance 163.4 TFLOPs
Peak Double Precision Matrix (FP64) Performance 163.4 TFLOPs
Peak Single Precision (FP32) Performance 163.4 TFLOPs
Peak Double Precision (FP64) Performance 81.7 TFLOPs
Peak INT8 Performance 2.6 POPs
Peak INT8 Performance with Structured Sparsity 5.22 POPs
Peak bfloat16 1.3 PFLOPs
Peak bfloat16 with Strutured Sparsity 2.61 PFLOPs

14 výkonových parametrů od 8 do 64 bitů. Do budoucna s dalšími formáty už to bude trochu nepřehledné. K tomu je důležitá rychlost a kapacita RAM 192 GB a 5,3 TB/s. To podstatné tam je, zbytek je na programátorech.

kutil05

Level

25. 6. 2024 07:51

Komentáře tohoto uživatele máš zablokované.

@komplikator To možná ano. Ale toto není nezávislá firma testující HW s tím, že se na něco specializuje. Toto je autor SW pro který mají svůj benchmark. Nebo ani nemají a spíš testují přímo v plném SW.

Milan Šurkala

SHW

25. 6. 2024 10:06

Komentáře tohoto uživatele máš zablokované.

@komplikator "Toto je autor SW pro který mají svůj benchmark."

Jenže ten benchmark se skládá z těch algoritmů, které pak na těch počítačích budou běžet. To není jedno číslo. To máte výsledek pro různé modely, různé konfigurace,... Pokud třeba stavíte server pro běh Stable Diffusion, kde chcete vzít informaci o tom, na čem to poběží nejlépe? MLPerf neříká nic o výkonu v nějakém vlastní AI softwaru nějaké firmy. Jde o soubor výsledků v různých široce používaných AI/ML algoritmech. Tedy je to velmi praktická sada čísel široce uznávaná v dané oblasti jako standard.

Vzhledem k tomu, že jde o trh v desítkách miliard USD, není milion zas až tak šílená částka (ony ani náklady na otestování nebudou úplně malé), ačkoli se to na první pohled může zdát být hodně a také jsem si nejprve říkal "cože?"

kutil05

Level

25. 6. 2024 10:24

Komentáře tohoto uživatele máš zablokované.

@komplikator LINPACK ale přece byl taky už historicky soubor dílčích výsledků, to není nic nové. Pointa je jinde. LINPACK můžete spustit na jednom CPU i celém složitém systému. Ale nikdo na něm nevydělává, dokonce se distribuuje jako zdrojový kód a velmi dlouho byl uznávaný.

Milan Šurkala

SHW

25. 6. 2024 12:02

Komentáře tohoto uživatele máš zablokované.

@komplikator Tak MLPerf si můžete také stáhnout zdarma (měl by být jako open-source dostupný na GitHubu).

Tady se platí spíše za to, že to standardizovaně otestuje jedna entita, která ty souhrnné výsledky prezentuje, než aby do toho systému přispívaly jednotlivé firmy, které si to samy kdo ví jak rozběhají, a byl v tom stejný bordel, jako vidíme např. v Geekbenchi nebo 3DMarku, kde může výrobce dokázat ohledně výkonu téměř cokoli. Tato větší transparentnost je u trhu, kde jsou jednotlivé zakázky v milionech, desítkách milionů, stovkách milionů USD... docela podstatná.

kutil05

Level

25. 6. 2024 07:47

Komentáře tohoto uživatele máš zablokované.

@komplikator Toto ale rozhodně není HW pro tolik lidí. Přirovnal bych to k rozdílu mezi běžným a přesto Hi-End serverem a superpočítačem nebo mainframe. A firma uvažující o ralizaci superpočítače na benchmarky nehledí. Ale skutečně jde za výrobcem, tedy ne k běžnému distributorovi, už vůbec ne přímo k AMD, ale za výrobcem superpočítačů a těch fakt moc není a s ním se poradí a dostane stroj na míru. Podobně by šli za výrobcem serverů. A speciálně u serverů stejně jako jiných IT strojů půjdou patrně k tomu, s kým mají dlouhodobou smlouvu. Ty firmy málokdy, spíš vyjímečně kupují HW napřímo.

Milan Šurkala

SHW

25. 6. 2024 10:23

Komentáře tohoto uživatele máš zablokované.

@komplikator "a s ním se poradí a dostane stroj na míru."

Ale kde ten výrobce vezme výsledky pro to, aby zákazníkovi poradil? Dívám se třeba na Dell a jeho servery a v čem prezentuje výsledky svých AI serverů? V MLPerf. V čem prezentuje výsledky svých AI serverů Lenovo? V MLPerf...

Vidím, že tady nikdo netuší, co to MLPerf vlastně je, tak jsem to trochu více rozvedl v článku.

armagedon

Level

25. 6. 2024 13:51

Komentáře tohoto uživatele máš zablokované.

@komplikator Neni to moje pole pusobnosti, nemam rad obrovske firmy ktere operuji v tomto segmentu - ale jako naprosty laik bych si predstavoval neco v tom smyslu - "halo AMD, mame potencialni zajem o vase akceleratory, muzete nasim technikum poslat vzorek, ten si otestujeme v nasem specifickem nasazeni a pokud si potvrdime predpokladane vykonove vlstnosti, vzali bychom si tri kamiony" o.O

imho to AMD jednoduse nema za danych podminek zapotrebi.

kutil05

Level

25. 6. 2024 14:08

Komentáře tohoto uživatele máš zablokované.

@komplikator Takto velcí dostávají na testy vzorky automaticky.

komplikator

Level

25. 6. 2024 15:07

Komentáře tohoto uživatele máš zablokované.

@komplikator Ano, nejak tak to je ale ti technici nejsou zadarmo, takze casto jdes za nekym kdo se na to specializuje, stejne jako vyrobci prinesou cisla nekoho uznavaneho, komu zaplatili aby to udelal. A ta firma, pokud chce zustat na trhu si nemuze vymyslet.