Počítače Mac jsou dost oblíbené pro běh lokálních modelů. Nové Mac Studio od Applu podle firmy rozběhne téměř 500miliardový model. V clusteru si troufne i na víc.
Lokální běh AI modelů se stává stále větším trendem a společnost Apple pro tento účel přichází u některých svých zařízení s kombinací rychlé jednotné paměti, její velké kapacity (za velký příplatek) a výkonným GPU s Neural Acceleratory. Díky tomu jsou především její zařízení Mac schopna provozovat i velké LLM modely, což uživatelům umožňuje vyhnout se placeným cloudovým předplatným nebo API voláním u AI služeb. Toto se týká především nejnovějšího Mac Studia, které může mít až 512 GB paměti (prozatím v prodeji s 256 GB, brzy by měla přijít i 512GB varianta). Nedávno společnost ukázala, na jaké modely si jeho zařízení vlastně troufnou.
V případě mobilních zařízení iPhone tu máme 12 GB RAM, u iPadů jsou to pak konfigurace s až 16 GB jednotné paměti pro běh modelů s 14 mld. aktivních parametrů. Pokud jde o paměťovou propustnost, ta činí 76 GB/s, nicméně nejnovější čip A20 Pro tuto hranici překonává hodnotou 115 GB/s (Apple mluvil o 50% navýšení propustnosti oproti minulému iPhonu).
Vyšší výkon nabízejí zařízení jako MacBook Air, která končí na 32 GB paměti. Ta se už propustností dostávají na 153 GB/s a stačí to na 35 mld. parametrů. Pochopitelně toto množství závisí na kvantizaci. 35B modely sice rozjedete i na GPU se 16 GB paměti, nicméně to už musíte použít agresivnější 4bitové kvantizace a stejně bude část přetékat do RAM.
Počítače Mac mini, které podporují až 64 GB jednotné paměti s propustností až 307 GB/s, jsou podle Applu schopny rozběhat LLM modely s až 70 mld. parametrů. Vrcholové modely MacBook Pro pak s podporou až 128 GB jednotné paměti zvládnou modely o velikosti 120 mld. parametrů, což je podobné jako u notebooků RTX Spark se stejným množstvím RAM. Oproti nim má ale dvojnásobně vyšší propustnost se 614 GB/s.
Nejvýkonnější řešení představuje nové Mac Studio s procesorem M5 Ultra. Máme tu propustnost paměti 1,2 TB/s a kapacitu až 512 GB, což umožňuje běh modelů až se 480 mld. parametrů. Pro ty, kteří potřebují absolutní maximum, existuje možnost spojit více zařízení do clusteru. Konfigurace se čtyřmi zařízeními nabídne celkovou paměť až 2 TB a zvládne modely s 1,6 bilionu parametrů.
Nejde ale o levné řešení. Verze se základním M5 Ultra s 30jádrovým CPU, 64jádrovým GPU a 1 TB SSD stojí 274.990 Kč a varianta s plnohodnotným M5 Ultra (36 jader CPU, 80 jader GPU) začíná na 313.990 Kč. Za cluster 4 počítačů byste tak zaplatili okolo 1,1-1,25 milionu Kč, a to je vzhledem k velikosti paměti vlastně ještě poměrně levná záležitost. Stejnou kapacitu z GPU Nvidie byste vyskládali za asi 4 miliony (tam by ale GPU byla výrazně výkonnější). Jenže to máme 256GB verze. 512GB varianta teprve půjde do prodeje a bude jistě ještě podstatně dražší.
