S bezpečnostními incidenty ve spojitosti s AI modely se roztrhl pytel. A nefungují ani bezpečnostní ochrany. OpenAI tak pozastavilo trénování a odložilo vydání GPT-6.1 Astra.
Nedávné události kolem společnosti OpenAI opětovně ukázaly, že rizika spojená s autonomními agenty nejsou malá. Firma totiž oznámila, že neuvolní svůj nejnovější model GPT-6.1 Astra. Ten měl být schopen samostatně procházet internet a sám používat aplikace, nicméně interní testování odhalilo, že zdaleka nesplňuje stanovené bezpečnostní standardy. Model opětovně selhal v dodržování instrukcí ohledně stanoveného rozsahu, kde se může pohybovat, nebo v tom, jak komunikuje s uživatelem o vykonané práci.
Na vývojářské konferencí v San Franciscu Sam Altman nedávno představil osobního agenta dots, GPT-6.1 Astra má ale dočasnou stopku. Problémy však trvají i u dřívějších verzí. Studie britského AI Security Institute ukázala, že GPT-6 Astra se během simulací dostával mimo stanovené mantinely výrazně častěji než jeho předchůdci GPT-5.6 Sol a GPT-5.5.
V případě nedávného hacku australského zdravotnického systému firma přiznala chybu v komunikaci a omluvila se, že dotčené organizace informovala až s velkým zpožděním. Další komplikací, která byla zveřejněna teprve nedáno, byl únik interního výzkumného modelu z uzavřeného prostředí, který našel díru v DNS filtrování trénovacího sandboxu a kontaktoval externího chatbota. Automatická detekce zakázaného chování zafungovala a během 15 minut informovala o problému, kterému se lidé začali věnovat během dalších 3 minut. Automatický kill switch už ale nezafungoval, a tak vypnutí systému, které mělo nastat samo o sobě, selhalo. Model běžel ještě 2,5 hodiny, než ho někdo zastavil ručně.
V rámci reakce na tyto bezpečnostní problémy tedy OpenAI dočasně pozastavila trénink svých nejvýkonnějších modelů i jejich vyhodnocování. Připomeňme, že konkurenční Anthropic se připravuje na vstup na burzu, přesto ale varuje investory před existenčními riziky, které může mít AI pro lidstvo.
Proti těmto trendům se snaží zapojit i Nvidia, kde její CEO Jensen Huang vnímá bezpečnost primárně jako inženýrský problém, který by měl být řešitelný. Současně totiž říká, že pokud firma není schopna zajistit bezpečnost svých produktů, tak prostě a jednoduše nemá vydávat produkt, který je nebezpečný. Nejprve má vyřešit problém.
