Meta uvádí LLama 3.1 405B natrénovaný na 16.000 kartách Nvidia H100
24.7.2024, Milan Šurkala, aktualita
Společnost Meta představuje novou verzi LLM Llama 3.1. Tento model nyní existuje i ve verzi se 405 miliardami parametrů a má dosahovat mnohem lepších výkonů než předchozí modely společnosti.
V dubnu letošního roku představila společnost Meta novou verzi svého LLM, Llama 3. Nyní přichází nová verze Llama 3.1, která se stává největším open-source LLM. Tento LLM je totiž k dispozici nejen ve verzích 8B a 70B (s 8, resp. 70 miliardami parametrů), ale také ve variantě 405B (405 miliard parametrů). Novinkou je např. větší kontextové okno pro 128 tisíc tokenů, což umožňuje např. sumarizaci větších textů, tvorbu vícejazykových agentů, lepších asistentů při programování, zlepšilo se i uvažování. Meta změnila i licencování modelu, který lze nyní používat k vylepšování jiných modelů. Ostatně i sama Meta ho použila k trénování Llama 3.1 ve verzích 8B a 70B.
Varianta 405B byla natrénována na 15 bilionech tokenů a bylo k tomu využito 16 tisíc akcelerátorů Nvidia H100. Meta otestovala nový LLM na 150 benchmarcích, výsledky částí z nich prezentovala na svých stránkách. Škoda, že ve srovnání není i předchozí model Mety. Každopádně tu máme v porovnání např. nový GPT-4 Omni nebo Claude 3.5 Sonnet. Z prezentovaného výběru vypadá být Llama 3.1 nejčastěji ve vedení, otázkou je ale výkon v dalších neprezentovaných benchmarcích. Nová verze má také komponentu Llama Guard 3, bezpečnostní model pracující s mnoha různými jazyky. Je zde i Prompt Guard, který má za úlohu předcházet útokům "prompt injection".
Mark Zuckerberg na svém Instagramu tvrdí, že do konce roku bude jeho Meta AI nejpoužívanějším chatbotem, neboť ho už používá 300 milionů lidí. V tiskové zprávě Meta mluví o 300 milionech stažení. Každopádně v Evropě je Meta.AI prozatím nedostupná.
