AMD Instinct MI300: útok na Nvidii i s kombinovaným CPU+GPU a HBM pamětmi
15.6.2023, Milan Šurkala, aktualita
Společnost AMD chce ve velkém zaútočit na Nvidii, která kraluje hardwaru pro trénování a běh algoritmů umělé inteligence. Představuje dvě verze akcelerátoru Instinct MI300, kde se využije i paměť HBM3.
V oblasti trénování algoritmů umělé inteligence je naprostou jedničkou Nvidia a její akcelerátory. Zatímco v roce 2021 měla už tak obrovských 80 % trhu, dnes je to okolo 95 %. Společnost AMD to chce ale zvrátit a doufá, že nové akcelerátory Instinct MI300 by mohly být úspěšnou alternativou proti čipům Nvidia Grace a Hopper, resp. jejich kombinacím (např. Grace Hopper Superchip). Přijde se dvěma variantami, tou první bude kombinované CPU+GPU verzi Instinct MI300A a čisté GPU variantě Instinct MI300X. V obou dvou případech tu najdeme vysoké množství paměti HBM3.
Pokud jde o kombinovaný model Instinct MI300A, tak ten má 146 miliard tranzistorů a skládá se ze 3 CCD s architekturou Zen 4, tedy 24 CPU jádry, a ze 6 XCD s celkem 228 CU architektury CDNA 3. Mezi CPU a GPU bude sdílená paměť HBM3 o celkové kapacitě 128 GB. Tento akcelerátor se už dodává v prvních vzorcích, velkosériová výroba začne až v posledním letošním čtvrtletí.
Druhou verzí bude Instinct MI300X. V tomto případě půjde o čistě GPU řešení. Zvýší se tedy počet XCD na 8 a s tím také počet CU na 304, celkem bude mít dokonce 153 miliard tranzistorů. Dostáváme tu 192 GB paměti HBM3 s propustností 5,2 TB/s na 8192bitové sběrnici. Sběrnice Infinity Fabric pak nabídne propustnost 896 GB/s. První vzorky budou dodány v příštím čtvrtletí, velkosériová výroba začne koncem roku. Jedna karta MI300X by měla být schopna natrénovat LLM se 40 miliardami parametrů. Pokud jde o spotřebu, ta by měla činit 750 W.
Bude tu také AMD Instinct Platform, což je modul s celkem 8 akcelerátory MI300X a celkovou kapacitou 1,5 TB paměti HBM3. Zajímavostí je i to, že MI300 bude základem nového superpočítače El Capitan, který by měl dosáhnout výkonu přes 2 ExaFLOPS. MI300X by mělo nabídnout 5krát vyšší výkon na watt v AI aplikacích než předchůdce MI250X, což je velmi významný posun. Výkon má stoupnout dokonce 8násobně.
