Lokální systémy AI způsobí další změnu v tom, co můžeme nastavit na našich počítačích. V případě sestav s unifikovanou pamětí bude ve Windows 11 možné lépe nastavit množství RAM vyhrazené jako VRAM.
Operační systém Microsoft Windows 11 čeká další změna chování. Na svědomí ji má umělá inteligence, konkrétně schopnost lokálních modelů běžet na běžných spotřebitelských PC. Zatímco na desktopech jsou vaše schopnosti výrazně ovlivněny velikostí VRAM dedikované grafické karty, do kterých se musí LLM vlézt, jinak přeteče do pomalé RAM, u některých notebooků najdeme unifikovanou RAM. Jinak řečeno, integrovaná grafika nemá žádnou vlastní RAM, ale svou VRAM si vytváří v operační paměti počítače.
To má výhody i nevýhody. Nevýhodou je to, že tato paměť není zrovna rychlá a že ubírá z RAM pro jiné aplikace. Výhodou je, že se dá teoreticky nastavit, kolik paměti lze takto vyhradit pro grafiku. V případě velké RAM tak lze získat překvapivě výkonný AI stroj i tam, kde by dedikovaná grafika stála majlant nebo vůbec neexistovala.
A právě to bude novinkou v operačním systému Windows 11, který by měl toto dovolit jednodušeji nastavit. Mělo by být možné zvolit, kolik RAM zůstane počítači jako operační paměť, a kolik z této paměti si může ukousnout GPU pro výpočty, mezi něž může patřit např. lokální AI.
Toto je spojené zejména s brzkým příchodem počítačů s čipem Nvidia RTX Spark, do kterých se díky velké paměti mohou vejít i mnohem větší lokální modely než např. do grafiky GeForce RTX 5090. Ta má jen 32 GB VRAM, zatímco RTX Spark může mít až 128 GB RAM, takže pro AI výpočty může být vyhrazeno i několikanásobně více paměti než v případě RTX 5090 (teoreticky 96 GB a možná i více).
Výpočetně jde sice o RTX 5070, nicméně víme, že síla čipu a propustnost má význam jen do doby, než dojde paměť. Jakmile začne VRAM nedostačovat, vyšší kapacita jinak slabšího řešení začne přebírat stále výraznější úlohu. A tak RTX Spark s pomalejším čipem a pomalejší pamětí může být pro velké modely klidně i rychlejší než RTX 5090, která má sice rychlejší čip i paměť, ale velká část modelu musí být kvůli malé VRAM v pomalé RAM (pokud se tam vůbec vejde).
Zde připomeňme, že systémy AMD mají toto nastavení už na úrovni ovladačů grafických karet, kdy např. u procesoru AMD Ryzen 9 AI Max+ 395, u něhož může být až 128 GB sdílené paměti RAM, lze 96 GB vyhradit pro potřeby GPU a lokálního běhu AI.
