Nedávné incidenty, kdy AI modely hacknuly systémy jiných firem, mají první odezvu. OpenAI pozastavilo další vývoj některých modelů a vylepšuje bezpečnost i pravidla.
V posledních týdnech došlo k několika bezpečnostním incidentům, kdy AI systémy hacknuly servery jiných společností. Důvody pro to byly v zásadě dva, a to lidská chyba v konfiguraci testovacích prostředí a svévolný výklad pravidel samotnou AI. Aby se něco podobného už neopakovalo (resp. riziko co nejvíce snížilo), OpenAI se rozhodlo pozastavit vývoj nejpokročilejších AI modelů na dva týdny. Konkrétně jde o modely na úrovni GPT-5.6 Sol a vyšší včetně nejnovějšího připravovaného modelu Astra, který dosáhl kritické úrovně schopností v oblasti kybernetické bezpečnosti stanovené v Preparedness Framework.
Aby se snížilo riziko, které nese interní testování modelů, během těchto dvou týdnů bude pozastaveno učení posilováním (reinforcement learning), které je součástí tréninku AI modelů. Běžný trénink a vyhodnocování bude probíhat nadále v menší míře, přičemž OpenAI mezi tím vylepší pravidla pro další vývoj ve třech oblastech, a to monitorování, bezpečnostních omezení a následování instrukcí (myšleno v oblasti morálních hodnot, korektních a očekávaných způsobů, jak dosahovat cíle). Zde připomeňme, že první incident byl vlastně tím, že agent od OpenAI byl testován v bezpečnostním benchmarku, přičemž ho šel řešit tak, že si šel na jiný server pro výsledky.
Toho by mělo být dosaženo lépe izolovaným sandboxem, lepší izolací síťové konektivity (aby prolomení jedné podpůrné služby neumožnilo neautorizovaný přístup k jiným sítím), také se snížila přístupová práva, snížil se počet sdílených služeb, které by mohly být zneužity. Také se bude podrobněji monitorovat, jak AI agenti vlastně pracují, a to zejména u delších úloh. Monitorovat se tak má kažý token. Pokud se objeví aktivita, která se jeví jako potenciálně problematická, systém vygeneruje upozornění nejvyšší úrovně, a pokud se do 30 minut nezjistí, že šlo o falešný poplach, agent se zastaví.
