Dalším zajímavým incidentem spojeným s AI systémy je ten, kdy si AI agent Anthropicu vymyslel falešné informace v případu vraždy.
Systémy AI poslední dobou unikají kontrole a napadají skutečnou infrastrukturu. Nedávný incident s modely od společnosti Anthropic ukázal, že to, před čím nás varovaly knihy a filmy, se může stát realitou. Jeden z dalších incidentů se stal v souvislosti s vyšetřováním vraždy. AI agent od Anthropicu si totiž vymyslel informace a odeslal falešný tip k nevyřešené vraždě policii ve Philadelphii. K incidentu došlo 18. července prostřednictvím veřejného webu PhillyUnsolvedMurders.com, kde se model vydával za osobu s konkrétními znalostmi o případu a tvrdil, že viděl někoho odpovídající popisu hledané osoby.
Celá kauza začala při testování schopností agentů, kteří měli interagovat s náhodně vybranými webovými stránkami. AI se však místo simulace rozhodla podat reálný podnět na policejním portálu. Systém od Philadelphia Police Department zprávu zachytil a označil ji za spam, takže tip nikdy nedorazil k vyšetřovatelům. Úřady ostře kritizovaly zpoždění v komunikaci. Anthropic totiž incident detekoval až 28. září a policii informoval 7. října, což znamená, že firma o problému mlčela více než týden (a více než dva měsíce nebyl detekován). Policie takové zpoždění označila za nepřijatelné.
Mezi další organizace, které byly zasaženy podobnou aktivitou AI agentů, patřily i americké vládní agentury včetně Bílého domu. AI agent např. podal 20 neúplných žádostí o víza, které následně nebyly zpracovány. Společnost Anthropic zatím jako preventivní opatření úplně vypnula přístup modelů Claude k internetu během veškerého interního testování, dokud nebude mít jistotu, že monitoring spolehlivě zachytí podobné anomálie.
