Čínské levné MoE modely budou mít konkurenci od společnosti Reflection, za kterou stojí i Nvidia. Nový model Reflection Beam přináší 501 miliard parametrů, z nichž je aktivních 23 miliard.
Západní vývojáři se konečně pokoušejí vyrovnat čínské konkurenci v oblasti levných a efektivních open-weight modelů, kde dlouho dominovaly jména jako DeepSeek, Qwen nebo GLM. Novým hráčem je startup Reflection AI, který představil svůj první model Beam. Jde o model Mixture-of-Experts (MoE) s celkovým počtem 501 mld. parametrů, z nichž je aktivních pouze 23 mld. Podle vývojářů dosahuje Beam výsledků srovnatelných s modelem GLM-5.2, přitom při inferenci vyžaduje zhruba 3-4× méně výpočetního výkonu.
Reflection implementoval různé optimalizace pro udržení stability a snížení nároků na paměť. Model využívá technologii SandwichNorm a rezidua počítá ve vysoké 32bitové přesnosti (FP32), i když zbytek modelu běží v nižší přesnosti pro dosažení vyšší rychlosti. Výsledkem je téměř perfektně rovnoměrné využití expertů, kdy nejzatíženější expert byl pouze 1,04× vytíženější než průměr. V zásadě jde o to, že se aktivují jen ty části modelu, které jsou užitečné pro řešení konkrétní úlohy a ne jiné.
Pokud jde o trénink, Beam prošel rozsáhlou fází učení s posilováním (RL - Reinforcement Learning), které probíhalo čtyři týdny na 10,5 tisíce GPU Nvidia GB300. Vývojáři využili licencované datasety, aby neměli problémy a vyhnuli se soudním tahanicím.
V oblasti výkonu Beam vykazuje přijatelné výsledky, ale na nejlepší modely na trhu nemá, což ani není v této třídě obvyklé. Ve většině testů nicméně nestačí ani na modely, jako je DeepSeek V4.1 Flash nebo Qwen 3.8 Max. Většinou však překonává GLM 5.2, na GLM 5.3 už spíše nestačí. Jeho devizou má být právě onen velmi efektivní běh (zde podotkněme, že čínské modely jsou mnohdy až směšně levné).
Celý projekt je podporován Nvidií, která do firmy investovala 800 milionů USD a poskytla přístup k čipům GB300. Váhy modelu budou zveřejněny v průběhu října.
