Intel se už před dvěma roky rozhodl poslat k ledu Nervanu a soustředit se na Habanu, která nyní připravila nový akcelerátor Gaudi2 pro trénování umělé inteligence a Greco pro její provozování. Čím vynikají?
Intel se tak už dříve rozhodl vsadit na technologie firmy Habana a nyní ukazuje, že toto rozhodnutí mu stále vyhovuje, neboť jsou na světě další produkty. Jde tu především o Gaudi2 s 24 jednotkami TPC, 96 GB paměti HBM2e a celkovou spotřebou 600W, který Intel srovnává s NVIDIA Ampere A100. Oproti této konkurenci má být Gaudi2 dvakrát rychlejší při trénování neuronových sítí. Nicméně je třeba také uvést, že NVIDIA už má téměř přichystané akcelerátory H100 generace Hopper, které pochopitelně ve svém výkonu nezamrzly na úrovní staršího hardwaru.
Intel přitom vůbec neříká, o jakou 7nm technologii tu jde a zda je to snad TSMC N7, jeho vlastní Intel 7 (dříve 10nm), anebo Intel 4 (dříve 7nm). Vzhledem k velikosti čipu asi těžko půjde o Intel 4 a označovat Intel 7 za 7nm technologii by snad nikoho v Intelu nenapadlo. Navíc se Gaudi2 srovnávají s předchozím 16nm řešením (TSMC N16), což by ukazovalo na TSMC N7.
Celkem 24 jednotek TPC je tu určeno pro výpočty v FP8 a také pro dekódování médií a 96 GB paměti HBM2e v šesti pouzdrech nabídne propustnost 2,45 TB/s, vedle čehož tu máme ještě 48 MB SRAM. Gaudi2 také může využívat celkem 24 100GbE rozhraní, což si vše žádá svou daň v podobě TDP zvýšené ze 350 W na 600 W oproti původnímu Gaudi.
Přibližně dvojnásobný výkon oproti A100 80GB byl změřen v AI tréninku pod ResNet-50 a pak se dozvídáme o 1,7násobné propustnosti v NLP BERT Phase-1 a 2,8násobné v Phase-2. Dle toho se Intel chlubí, že Gaudi2 může být oproti řešení NVIDIE o 75 procent efektivnější.
Intel Habana Greco je už akcelerátor určený pro provoz dříve vytrénované AI (inference) a jde opět o 7nm čip, který má už po ruce mnohem slabší paměťovou výbavu v podobě 16 GB LPDDR5 (204 GB/s) a 128 MB SRAM. Zvládne výpočty ve formátech BF16, FP16 a Int4 a jde o naopak o kartu, která je vedle staršího 16nm řešení mnohem úspornější. V podobě dvouslotové PCIe HHHL karty by ji tak měl dokázat napájet i pouhý slot.
Habana Gaudi2 je zákazníkům k dispozici ihned, ovšem Greco nastoupí někdy v druhé polovině roku.
