Pro lokální běh AI modelů mohou být vhodné nové mini počítače s obří sdílenou pamětí. To slibují např. ty s Ryzenem AI Max+ PRO 495. Budou ale pekelně drahé.
Lokální běh velkých jazykových modelů vyžaduje především obrovské množství rychlé paměti, což je u běžných PC s dedikovanými grafickými kartami často problémem. Ty mají sice velmi rychlou VRAM, ale její nízká kapacita je výrazným limitem pro velikost LLM, který lze spustit. Dá se sice při dostatku RAM paměti počítat s přetokem modelu do RAM, ta je ale velmi pomalá, což výrazně sníží rychlost zpracovávání.
Řešením jsou systémy se sdílenou jednotnou pamětí, kde lze značnou část RAM (která zde bývá díky širším sběrnicím podstatně rychlejší) vyhradit pro GPU a AI algoritmy. Právě na tento trh nyní míří nová vlna kompaktních pracovních stanic postavených na platformě AMD Gorgon Halo s procesory Ryzen AI Max+ 400.
K dispozici jsou například modely od Minisforum, GMKtec nebo Framework, které využívají procesor Ryzen AI Max+ PRO 495. Jde o 16jádrový čip založený na architektuře Zen 5 s frekvencí až 5,2 GHz v Boostu. Integrovaná grafika Radeon 8065S disponuje 40 CU a NPU nabízí výkon 55 TOPS, takže celkový AI výkon procesoru dosahuje 131 TOPS. To ale není nějak mnoho, tady jde spíše o schopnost spustit velké modely než o rychlost zpracování.
Zásadním parametrem je jednotná paměť LPDDR5X-8533 s propustností 273 GB/s, u které je maximální kapacita 192 GB. Z tohoto množství lze dynamicky alokovat až 160 GB jako VRAM, což lokálně umožňuje rozběhnout velmi velké LLM. Např. GMKtec uvádí, že jeho model Evo-X5 Pro zvládne modely s až 320 miliardami parametrů.
Pokud jde o úložiště a konektivitu, systémy nabízejí rozumnou rozšiřitelnost. Model od GMKtec disponuje třemi sloty M.2 na PCIe 4.0, takže celková kapacita SSD může dosáhnout až 24 TB. Minisforum nabízí dva M.2 sloty a dokonce plnohodnotný slot PCIe 4.0 x4 pro další kartu. Standardem je u obou zařízení dvojice 10GbE LAN portů, dva USB4 porty s rychlostí 80 Gbps (USB4 2.0) a další dvojice 40Gbps USB4 portů.
Chlazení musí zvládnout špičkový odběr až 160 W a trvalých 120 W. Minisforum využívá měděnou základnu se šesti heat-pipes a dvěma ventilátory, GMKtec využívá výparníkovou komoru a tři ventilátory.
Pochopitelně ale nejde o levnou legraci a ceny těchto strojů odpovídají nejen segmentu profesionálních AI stanic, ale také tomu, že tu máme paměťovou krizi a 192 GB paměti RAM nebylo levných ani loni, natož letos. Konfigurace se 192 GB RAM a 2 TB SSD od Minisforum vyjde v USA na 7399 USD (160 tisíc Kč v kurzovém přepočtu), zatímco GMKtec Evo-X5 Pro začíná na 6399 USD v předprodeji a standardní cena bude od 6799 USD.
