Rychlé procesory Nvidia Groq určené pro inferenci AI algoritmů u nové generace patrně změní typ paměti. Nynější SRAM nahradí pomalejší, ale větší 3D DRAM.
V oblasti AI inference se u Nvidie odehrává posun v přístupu k paměťové architektuře čipů Groq. Společnost Groq, která za těmito inferenčními čipy stojí, Nvidia koupila koncem loňského roku za 20 mld. USD. LPU od Groqu se doposud spoléhala na extrémní rychlosti pamětí SRAM. To sice umožnilo dosáhnout rekordních výkonů, nicméně s rostoucí velikostí AI modelů naráží tento přístup na své limity v oblasti kapacity. Podle zákulisních zpráv proto Groq plánuje do svých čipů nových generací použít technologii 3D vrstvených pamětí DRAM (tzv. 3DS) místo nynějších SRAM.
Aktuální generace Groq 3 LPU, která je vyráběna v Samsung Foundry pomocí 4nm procesu, využívá 500 MB SRAM s propustností 150 TB/s. Pro srovnání, Rubin GPU má u své HBM4 paměti “jen” 22 TB/s. V LPX racku, kde je spojeno 256 těchto čipů, se dostaneme na celkovou kapacitu 128 GB SRAM a agregovanou propustnost 40 PB/s. To je v podstatě o tři řády rychlejší než propustnost pamětí jednoho GPU Rubin, které ale přesto bude stále vítězit v kapacitě, protože jedno jediné má 288 GB paměti, čímž překoná více než 500 čipů Groq dohromady.
Takovéto hodnoty umožňují čipům Groq dosáhnout rychlosti až 3 400 tokenů za sekundu, což je v oblasti generování textu zásadní parametr. Problémem je ale fakt, že kapacita SRAM roste jen o 10–20 % každé dva roky, zatímco velikost AI modelů může zdvojnásobit každých 6 až 9 měsíců.
Právě zde přichází na řadu 3D vrstvené DRAM, která využívá vertikální vrstvení čipů pomocí TSV (Through-Silicon Vias). Na rozdíl od pamětí HBM se Groq u 3DS zaměřuje na zvýšení kapacity při zachování standardních rozhraní, aby minimalizoval výrobní rizika. Cílem je vyřešit problém s modely s biliony parametrů, které dnes vyžadují rozprostření výpočtů mezi obrovské množství čipů jen proto, aby se jejich váhy vešly do paměti.
Pokud jde o stávající platformu Groq 3 LPX, ta už nyní kombinuje SRAM s tradičními pamětmi DDR5, které v rámci jednoho racku poskytují 12 TB kapacity. Nová generace by měla tento poměr výrazně změnit a posunout se od priority rychlosti směrem k dostatečné kapacitě. Připomeňme ještě, že výpočetní výkon samotného čipu Groq 3 LPU se v FP8 pohybuje u hodnoty 1,2 PFLOPS.
