Společnost CoreWeave, poskytovatel výpočetních kapacit, oznámil, že zákazníci už mohou spustit své výpočty i na nejnovějších čipech Nvidia Vera Rubin NVL72.
Inferenci AI můžete spustit mnoha různými způsoby. Pro některé úlohy jsou vhodní chatboti přes webové rozhraní, někdy se zase může více vyplatit lokální běh na vlastním GPU, pro mnohá nasazení je vhodnější zase běh u providera, který AI inference provede na svých výkonných GPU. Zákazník na ně přistupuje přes API, kde platí za tokeny (zpravidla vstupní i výstupní). Jedním z takových poskytovatelů je i společnost CoreWeave.
U ní je zajímavé to, že se nepotvrzují předpoklady o rychlém zastarávání výpočetních platforem (lépe řečeno o tom, že by po příchodu nové generaci byly k ničemu a nedokázaly si na sebe dále vydělat).
Firma spolu s Nvidií oznámila, že nasadila nejnovější racky s Nvidia Vera Rubin NVL72, které jsou schopné generovat tokeny 4,8krát rychleji než GB200 NVL72 přes SWE-2, což znamená mnohem rychlejší generování zdrojových kódů pro real-time použití i více responzivní vícekrokové uvažování. Přesto se firma nechala slyšet, že ve svých datových centrech nadále provozuje dnes už 10 let staré servery s Nvidia V100, tedy s architekturou Volta. Když se těmto dnes už hodně starým čipům najde správné nasazení, mohou vydělávat i dekádu poté, co byly zakoupeny.
Pokud se vrátíme k nejnovějším čipům Nvidie, tak Vera nabídne 128 CPU s celkem 11264 jádry v jednom racku. To také znamená, že může spustit přes 11 tisíc současných prostředí, např. CoreWeave Sandbox. CoreWeave otestoval, že sandbox s AI agenty na Nvidia Vera nastartuje 3krát rychleji než u předchozí generace a v Terminal-Bench nové řešení nabízí o 70 % vyšší výkon.
