Nejen AI agenti Anthropicu hackují jiné společnosti, ale funguje to i obráceně. Výzkumníci byli schopni pomocí AI hacknout Anthropic.
K incidentům, kdy se AI agenti dostali do infrastruktury jiných firem, se připojila i společnost Anthropic, tvůrce chatbota Claude. Jenže v nejnovějším případě byl hackerský útok obrácený a Anthropic se stal obětí AI. Bezpečnostní startup Cathedral odhalil zranitelnosti v interních systémech společnosti. Celý případ se dostal na povrch díky zprávě zveřejněné serverem Washington Post a potvrdil to i samotný Anthropic.
K incidentu došlo v rámci Anthropicem autorizovaného programu pro hledání chyb, kde výzkumníci z Cathedral využili autonomní AI agenty k nalezení cest do systému. Zajímavostí je, že agenti nepotřebovali prolomit samotný model Claude. Konkrétně zneužili slabiny v byznysových aplikacích třetích stran, které firma používá pro administrativu, prodej nebo HR. Celý proces trval méně než 12 hodin, což vyvolalo značné znepokojení i u představitelů americké vlády.
V případě úspěšného proniknutí se výzkumníkům podařilo získat přístup k citlivým datům, jako jsou přepisy z porad, detaily o platech a pracovních nabídkách nebo interní komunikace na Slacku, kde se diskutovalo o pokročilých AI modelech. Anthropic sice potvrdil přístup k omezené části dat ohledně prodeje a IT, nicméně zdůraznil, že k datům, jako jsou modelové váhy, zdrojový kód nebo konverzace zákazníků s chatbotem, nikdo nepřistoupil. Firma rovněž tvrdí, že její monitoring aktivitu detekoval ještě předtím, než ji Cathedral nahlásil, a přístupy následně zablokovala.
