Připravovaný procesor Apple M7 Ultra by mohl být velmi zajímavým přístrojem pro běh lokálních LLM. Údajně má mít konfigurace s až 1,5 TB sdílené paměti.
Pro běh lokálních LLM je vhodné mít výkonné GPU, nicméně tím nejzásadnějším parametrem je velikost paměti. U běžných počítačů s tím může být problém, zejména pokud jde o trénování. Tam běžné GPU s 16 GB VRAM zvládne obvykle jednotky miliard parametrů v závislosti na technice trénování a kvantizaci. Pro běh algoritmů je to už jednodušší, tam se dá totiž snáze přehodit část parametrů do RAM (GPU offloading), takže zde se už můžeme pohybovat v desítkách miliard parametrů. Pokud budete v kvantizaci velmi agresivní, tak např. PC s 64 GB RAM a 16 GB VRAM těsně rozjede dokonce i 119miliardový Mistral (Q3). 24miliardový Mistral se v Q6 vejde do 16GB paměti celý, případně s minimálním offloadingem.
Z toho pohledu mají výhodu počítače, které mají jednotnou sdílenou paměť pro CPU i GPU, jako jsou např. Macy od Applu. Nerozlišuje se mezi jednotlivými typy paměti, ta je dostupná všude a v plné rychlosti. Není divu, že se Macy staly populárními stroji na běh lokálních LLM, a to i přes jejich velmi vysokou cenu, zejména uvážíme-li příplatky za paměť.
Mluví se o tom, že Apple letos chystá procesor M5 Ultra, který by měl pravděpodobně mít 36 CPU jader a 80jádrové GPU, přičemž vrcholit má na 768 GB sdílené paměti. Do toho se nacpe např. DeepSeek R1 s 671 miliardami parametrů. Více zajímavé je ale to, co nás čeká později. Zatímco v příštím roce bychom se měli dočkat procesorů M7 Pro a M7 Max, ještě o něco později má přijít M7 Ultra. A tady se zákulisně mluví o tom, že by měl tento procesor přinést podporu až pro 1,5 TB sdílené paměti. To už by zvládlo rozběhat i LLM s více než bilionem parametrů (např. v 8bitové kvantizaci). Nezodpovězenou otázkou pochopitelně je, kolik taková legrace bude stát (obzvlášť u Applu, nemluvě o tom, že tu máme paměťovou krizi).
