Pro běh lokálních AI algoritmů to chce velkou VRAM, a to chce přinést nová verze počítače Gigabyte AI TOP 100 B850. Vedle RTX 5090 nabídne i verzi se dvěma Radeony.
Pokud chcete provozovat větší lokální jazykové modely (LLM), tak je brát do úvahy především to, že provoz agentických AI systémů a AI obecně vyžaduje především obrovské množství rychlé paměti a vhod přijde i vysoký výpočetní výkon. Zatímco onen výkon až takovým problémem obvykle není, u běžných desktopů je často limitujícím faktorem spíše nedostatek VRAM. Běžná produkce končí na 16 GB VRAM (pokud nechcete kupovat RTX 5090 za cenu ojetého auta), což stačí tak na 35B modely, a to ve 4bitové kvantizaci, kdy část stejně skončí v pomalé RAM. To může mít neblahé důsledky pro inteligenci modelů v krajních případech.
Společnost Gigabyte proto představila nový počítač AI TOP 100 B850, který přináší výkon pracovní stanice se zlepšenými schopnostmi pro AI výpočty díky grafickým kartám s větší pamětí. Cílem je umožnit vývojářům provozovat AI úlohy lokálně, takže se mohou vyhnout závislosti na cloudových serverech a nutnosti platit za tokeny. Na druhou v mnoha případech je cloudový běh přes API finančně výrazně výhodnější a lokální běh má smysl především v případech, kdy je potřeba striktně chránit data (a kdy uživatel nevěří ZDR politice serverů, že si opravdu nenechají nic z poslaných dat).
Srdcem počítače je procesor AMD Ryzen 9 9950X s 16 jádry a 32 vlákny založený na architektuře Zen 5, který disponuje podporou AVX-512. K dispozici je 128 GB paměti DDR5 (4×32GB), přičemž systém umožňuje pozdější rozšíření až na kapacitu 256 GB. Úložiště tvoří 2 TB SSD PCIe Gen 4.0, nicméně základní deska nabízí tři sloty M.2 pro další SSD s rozhraním PCIe 5.0 nebo 4.0.
Zásadním parametrem je tu volba grafických karet, kde mají uživatelé dvě možnosti. První variantou (AT1A9N9-5100) je jedna karta Nvidia GeForce RTX 5090 s 32 GB VRAM GDDR7, která nabízí širokou podporu AI frameworků. Jde o ověřené řešení, které je softwarově velmi široce podporované, na druhou stranu má možná až příliš rychlý čip s relativně malou pamětí. 32 GB vám příliš vysokou inteligenci modelů neposkytne. Dostanete sem třeba stejné 30B-35B modely jako u 16GB karet, ale v méně agresivních kvantizacích (množství bitů na parametr), což vylepší výsledky v některých náročnějších případech. Případně sem narvete modely např. se 70B, ale opět může být problémem agresivnější kvantizace.
Druhou možností je konfigurace AT1A9A7-5101 se dvěma kartami AMD Radeon AI PRO R9700, což zdvojnásobí kapacitu VRAM na 64 GB. Tato konfigurace umožňuje lokální inferenci modelů s až 235 mld. parametrů (rozběhne např. Qwen3-235B-A22B FP4) a ladění modelů až do velikosti 110 mld. parametrů v závislosti na kvantizaci. Tady tedy dostanete možnost provozu inteligentnější modelů a také více možností pro jejich trénování. Na druhou stranu samotná GPU budou pomalejší. Každopádně model, který výrazněji přeteče přes 32 GB, bude na Radeonech pravděpodobně rychlejší než na výkonnější GeForce, které nebude stačit paměť a přeteče do velmi pomalé RAM.
Pokud jde o chlazení, systém využívá 240mm kapalinové chlazení a pasivní chladiče na dalších komponentách. V kombinaci s dvěma 140mm předními ventilátory a jedním zadním zajišťuje efektivní proudění vzduchu při dlouhodobé zátěži. Celý stroj napájí zdroj s výkonem 1600 W a certifikací 80 PLUS Platinum v standardu ATX 3.1.
Máme tu dvojici 10GbE LAN portů, Wi-Fi 7 a Bluetooth 5.4. Přední panel nabízí USB-C 3.2 Gen2x2 a další USB-A porty, zatímco vzadu najdeme HDMI, několik USB 3.2 Gen 2 a Gen 1 portů i USB 2.0. Celý systém váží přibližně 25 kg a podporuje Windows 11 Pro i Linux. Cenu neznáme, ale nebude to levná legrace. Jen GPU vyjdou na 100-150 tisíc Kč (dva Radeony, resp. RTX 5090), 128GB RAM vyjde na 50+ tisíc.
