OpenAI uvedlo GPT-4o mini, menší a levnější LLM
19.7.2024, Milan Šurkala, aktualita
![OpenAI uvedlo GPT-4o mini, menší a levnější LLM](openai-uvedlo-gpt-4o-mini-mensi-a-levnejsi-llm/60923/img/gpt-4o-mini-800.webp)
OpenAI uvedlo novou verzi svého LLM GPT-4o mini. Novinka je o něco menší, což má ale také výhodu v tom, že její běh je levnější a rychlejší. V ChatGPT nahradí nynější GPT-3.5 Turbo i pro ty, kteří neměli testovací verzi GPT-4o.
Systémy umělé inteligence se vyvíjí dál a společnost OpenAI představila novou verzi svého LLM nazvaného GPT-4o mini. Jde o menší variantu k multimodálnímu GPT-4o, přičemž má být o něco menší (nevíme však přesně o kolik), současně ale také více dostupnou. Proti GPT-3.5 Turbo, který dodnes poháněl některé verze chatbota ChatGPT, má být o 60 % levnější. Vývojáři budou platit 15 centů za milion vstupních tokenů a 60 centů za milion výstupních tokenů. Vedle nižší ceny má být výhodou nižší latence a díky tomu i snazší možnost paralelních volání. Stejně jako GPT-4o, i jeho mini verze je multimodální, dokáže tedy pracovat s textovými, obrazovými, video i audio vstupy.
Zvládne až 16 tisíc vstupních tokenů na příkaz a celkové kontextové okno může mít až 128 tisíc tokenů. Pokud jde o znalosti, model je postaven na datech do října 2023. Přestože je GPT-4o mini odlehčenou verzí modelu, výkonem překonává většinu konkurence včetně vlastního plnohodnotného GPT-3.5 Turbo. Např. v uvažování v benchmarku MMLU získal 82,0 %, zatímco Gemini Flash má 77,9 % a Claude Haiku jen 73,8 %. Předchozí GPT-3.5 Turbo v tomtéž dosáhl jen na 69,8 % (nicméně plnohodnotný GPT-4o má 88,7 %).
![GPT-4o mini výkon](openai-uvedlo-gpt-4o-mini-mensi-a-levnejsi-llm/60923/img/gpt-4o-mini-graph.webp)
V matematice a psaní zdrojových kódů (benchmark MGSM) dosahuje novinka vynikajících 87,0 % (GPT-4o dokonce 90,5 %), zatímco Gemini Flash má jen 75,5 % a Claude Haiku 71,7 %, starší GPT-3.5 Turbo byl jen na pouhých 56,3 %. V HumanEval jde o 87,2 % pro GPT-4o mini (90,2 % pro GPT-4o), Gemini Flash má 71,5 %, Claude Haiku se dostal na 75,9 % a jako obvykle, původní GPT-3.5 Turbo dnes už zůstává vzadu s 68,0 %. GPT-4o mini vede i v multimodálním uvažování (MMMU) se skóre 59,4 % (plnohodnotná verze 69,1 %). Konkurenční Gemini Flash je s 56,1 % o trochu horší, Claude Haiku má pak 50,2 %.
Novinkou modelu jsou také nové bezpečnostní funkce lépe zabraňující hate speech, obsahu "pro dospělé', sbírání osobních dat nebo spamu a podobně. OpenAI zapracovalo také na nové metodě, která má zabraňovat snahám o jailbreak chatbotů a různým pokusům o získání systémových dat modelů.
Zdroj: techcrunch.com, openai.com