Nvidia uvedla multimodální LLM NVLM-1.0, výkonem konkuruje Llama 3 i GPT-4o

Nvidia se veze na vlně umělé inteligence především dodávkami výkonných a velmi drahých čipů pro běh a trénování algoritmů postavených na strojovém učení. Není ale jen výrobcem těchto procesorů, věnuje se také vývoji těchto algoritmů. Před několika dny tak představila svůj vlastní LLM, který nazvala NVLM 1.0 (přesněji NVLM-D 1.0 72B). Toto naznačuje, že má model 72 miliard parametrů, nicméně jak ukazují benchmarky, ve většině testů překonává konkurenční Llama 3-V 70B a výkonem je někde mezi ním a pokročilejším modelem Llama 3-V 405B (ten má 405 mld. parametrů). Ve všech prezentovaných benchmarcích překonává GPT-4V a výkonem je přibližně na úrovni multimodálního GPT-4o.

 

 

Model Nvidie je plně open-source, jde tedy nejen o zdrojový kód, ale i jednotlivé váhy neuronů (ten představuje výsledek naučení). To je rozdílem proti open-access modelům (např. Llama 3-V 405B nebo InternVL 2) a plně proprietárním řešením jako GPT-4o. V ukázkách Nvidia prezentuje, jak je model schopen popsat např. vtipnost obrázku, zdůvodnit, který jízdní pruh má uživatel použít a proč, zvládá také matematiku, rozpoznávat, co je na obrázku, psát zdrojové kódy na základě pseudokódu, prezentovat data a přidat k nim vysvětlení.

 

 

Zdroj: digitaltrends.com, nvidia.com