Pokud chcete lokálně pracovat s velkými LLM, obvykle narazíte na limit velikosti paměti VRAM. Nové AI PC MSI PRO MAX Edge AI+ 11M to řeší obří 128GB sdílenou pamětí.
Lokální běh LLM nemá obvykle ani tak problém s výkonem GPU jako spíše s nedostatečnou kapacitou VRAM, která nedovolí nahrát do paměti dostatečně velké modely. V závislosti na kvantizaci můžete být omezeni dost rychle zpravidla na nízké desítky miliard parametrů. V Q8 se do 16GB VRAM vejde bezpečně tak 12-13B model, na více parametrů musíte jít třeba na MXFP4 (GPT OSS s 20B má 12 GB, Mistral 3.2 s 24B okolo 15 GB, což už bude v praxi přetékat do RAM).
Proto jsou pro lokální LLM velmi dobrou volbou počítače se sdílenou pamětí, kde můžete mít VRAM, víceméně kolik jen chcete do celkové kapacity RAM (minus to, co zabere OS a aplikace, případně omezení platformy). Ta ale musí být na poměry RAM nadstandardně rychlá, aby to nebyla jen velká, ale pomalá paměť (tedy abychom se z problému části v rychlé VRAM a části v pomalé RAM nedostali na problém, že je vše v pomalé RAM).
To je výhodou procesoru AMD Ryzen AI Max+ 395, který se dostal do nového AI Copilot+ PC od společnosti MSI. Model PRO MAX Edge AI+ 11M totiž obsahuje tento procesor, který má 16 jader, podporu pro 32 vláken, velkou 64MB L3 cache a relativně výkonné iGPU Radeon 8060S, přičemž celé PC zvládne dosáhnout 126 TOPS (NPU samo o sobě dosahuje na 50 TOPS).
Na dedikované grafiky to pochopitelně nemá, jenže běžná nabídka mainstreamu nám končí na 16 GB VRAM (Radeony RX 9070, GeForce RTX 5060-5080) a ani RTX 5090 s 32GB VRAM není v tomto ohledu žádný zázrak. Tady ale máme 128 GB RAM LPDDR5X-8000 na 4kanálovém přístupu, přičemž až 96 GB lze vyhradit pro VRAM.
To znamená, že pro LLM tu máme 6krát větší kapacitu než u 16GB karet a i RTX 5090 to překonává 3násobně. Mělo by tak být možné tu naspat 120B model bez drastické kvantizace (a spojením více počítačů do sebe až 670 miliard). MSI tvrdí, že 109B model zvládne toto PC při 15 tokenech za sekundu. V případě menších modelů to jsou i vyšší desítky. Tady se naopak dostáváme na problém opačného poměru, kdy kapacita paměti “převyšuje” výpočetní výkon, který bude brzdou, zatímco u běžných GPU máme obvykle vysoký výpočetní výkon, který je brzděn malou pamětí.
Počítač má dva M.2 sloty s podporou PCIe Gen4 x4. Vepředu najdeme dva porty USB-A (10Gbps), jeden USB-C (40Gbps, 15W PD, DP-Alt), kombinovaný 3,5mm audio jack a čtečku SDXC karet včetně UHS-II. Vzadu jsou dva USB-A 2.0, jeden USB-A (10Gbps), jeden USB-C (40Gbps, 15W PD, DP-Alt), HDMI 2.1, DisplayPort 1.4a, síťový RJ-45 (s podporou rychlejší 2.5GbE) a 3,5mm kombinovaný audio jack. K dispozici je také bezdrátová síť Wi-Fi 7 a Bluetooth 5.4.
Počítač má 300W zdroj a vzduchové chlazení (MSI Frozr AI PRO se třemi ventilátory). Rozměry jsou 97,5×188,4×248,5 mm (objem cca 4 litry) a váží 2,9 kg. Dostupnost a cena není známá, ale při dnešních cenách pamětí jistě nebude nízká.
