Pro inferenci AI algoritmů si některé společnosti vyvíjí vlastní čipy. Microsoft tak nyní představuje svůj akcelerátor Maia 300.
V oblasti AI akcelerátorů pro inferenci je stěžejní efektivita, a zatímco u trénování je to hodně v režii Nvidie, v případě inference se snaží prosadit i vlastní čipy velkých cloudových hráčů, které by měly být v ideálním případě úspornější, a tedy levnější na provoz. Společnost Microsoft nyní představuje novou generaci svých procesorů Azure Maia 300, které jsou určeny primárně pro běh již natrénovaných AI algoritmů. Zatímco na předchozí 3nm Maia 200 už dnes běží Microsoft Copilot, novinka míří na náročnější úlohy, konkrétně na větší modely a delší kontexty. Výpočetní jádra nového procesoru jsou vyráběna nejpokročilejším 2nm procesem N2P u TSMC, což pomáhá dosáhnout dobré energetické efektivity.
Pokud jde o technické specifikace, Maia 300 dosahuje vysokou propustnost pamětí. K dispozici je osm stacků paměti HBM4 s celkovou kapacitou 288 GB a velmi vysokou propustností 18 TB/s. Pro zajímavost, předchozí generace Maia 200 disponovala propustností 7 TB/s a kapacitou 216 GB. Celý čip má TDP stanovenou na 950 W (předchůdce 750 W) a podporuje i datové formáty s nižší přesností, např. vylepšené MXFP4, což pomáhá snížit nároky na paměť i datovou propustnost při práci s velkými modely. Výkon v FP4 dosahuje 13,8 POPS a v FP8 pak 6,9 POPS.
Zajímavostí je přístup k řízení datového toku, který Microsoft nazývá SDLA (Software Defined Locally Accessed Dataflow Architecture). Ten umožňuje softwarově řídit pohyb dat tak, aby práce s nimi byla co nejefektivnější. Serverový rack pojme až 96 akcelerátorů místo původních 48 při celkové spotřebě 167 kW (předchůdce 64 kW). Takto konfigurovaný rack má poskytnout až 7násobek propustnosti tokenů oproti Maia 200 a celková kapacita HBM v racku se zvýší z 10,4 TB na 27,6 TB s agregovanou propustností zvýšenou z 341 TB/s na 1,7 PB/s. Nasazení těchto čipů je plánováno na rok 2027.
