Nedávno jsme tu měli incident od OpenAI, kdy její AI systémy hacknuli servery HuggingFace. Anthropic začal zjišťovat, zda jeho systémy Claude nedělají totéž. Dělají.
Po nedávném odhalení, že modely OpenAI unikly z testovacích sandboxů a hacknuly infrastrukturu HuggingFace, se pozornost zaměřila na to, zda podobné riziko hrozí i u konkurenčních systémů. Interní audit se rozhodla provést společnost Anthropic a obavy se potvrdily. Zjistilo se, že během kybernetického testování se od února 2026 modely Claude dostaly do reálných sítí tří externích organizací, přestože měly být v izolovaném prostředí bez přístupu na internet.
K incidentu došlo díky nedorozumění s partnerem, neboť testovací stroje byly omylem napojeny na internet, přestože systémový prompt explicitně uváděl, že jde o simulaci bez internetového připojení. Modely tak narazily na reálné servery a chybně předpokládaly, že jsou součástí cvičení. K prolomení zabezpečení využily mnohdy jednoduché techniky, jako jsou slabá hesla nebo SQL-injection.
V případě modelu Opus 4.7 došlo k tomu, že i poté, co model zjistil, že je v reálném prostředí, ve kterém nemá co dělat, útok pokračoval. Snažil se splnit původní zadání a selhal opakovaně (4krát).
Mythos 5 sice správně rozpoznal nesprávnou situaci, ale přesvědčil sám sebe, že jde přesto o součást testu. Tento incident dokonce vedl k publikování závadného Python balíčku na veřejné úložiště PyPI. Během hodiny jej nainstalovalo přibližně 15 skutečných uživatelů, včetně skeneru bezpečnostní firmy, které následně tímto malwarem odcizil přihlašovací údaje. Poslední incident měl na svědomí interní model, který rozpoznal, že provádí reálný útok a sám se zastavil.
Pro zajímavost, celkově Anthropic provedl lehce přes 141 tisíc testů a k těmto útokům vedlo 6 z nich, přičemž v zásadě šlo o 3 rozličné útoky (4 z nich provedl jeden model opakovaně na jednu firmu).
