Lokální AI modely nabývají na popularitě a Meta uvedla další nový. Jmenuje se Muse Glimmer a obsahuje 30 miliard parametrů.
Dalším novým lokálním AI modelem, který si skoro každý z nás může vyzkoušet doma, je Meta Muse Glimmer 30B. Meta je už dobře známá svými modely Llama, nyní je tu Muse Glimmer, který vychází z modelu Muse Spark. Díky 30 miliardě parametrů a několika verzím kvantizace si lze vybrat variantu, která se vejde na mnoho z běžných spotřebitelských PC. Meta míří model na lokální agenty, programování nebo LLM v roli nástroje pro vyhodnocování, může organizovat soubory nebo dělat návrhy textů.
Může používat nástroje, vícekrokové uvažování a zdůvodňování, při selhání by měl diagnostikovat chybu a zkusit to znovu místo zaseknutí. Je to také multimodální model (zvládá např. dokumenty a obrázky). Trénován byl na více než 100 různých jazyků.
Pokud jde o výkon, dle benchmarků Mety by v nastavení High Reasoning měl být lepší než Gemma4-31B v režimu Thinking a Qwen3.6-27B s témže režimu. V plné přesnosti má model 55 GB dle Mety (na webech ke stažení má obvykle 57 GB), což se nevleze na žádné běžné GPU. Se 4bitovou kvantizací se ale dostane na cca 20 GB, a tak se včetně KV cache vejde i na karty s 24GB nebo 32GB VRAM.
Ve verzi Full Precision tak chce 64 GB VRAM, nicméně varianta K-Quant Dynamic (samotný model má 21 GB) se už spokojí s 32 GB VRAM a jen 0,2% snížením přesnosti. Verze K-Quant-17GB (18 GB) se pak vejde i do 24GB VRAM s 1,0% poklesem. Modely lze stáhnout např. přes LM Studio nebo Unsloth, a to i v dalších variantách od 2bitových kvantizací (12 GB) až po 8bitové (34 GB) a onu plnohodnotnou 16bitovou.
