Společnosti Anthropic vydala bezpečnostní report, ve kterém pohovořila o různých pokusech o zneužití AI systémů. Některé by mohly vést i ke tvorbě biologických zbraní.
Společnost Anthropic nedávno zveřejnila novou zprávu svého Threat Intelligence týmu, který popisuje pokusy o zneužití modelů Claude k aktivitám, které by mohly ohrozit bezpečnost v nejrůznějších podobách. Mezi nejzávažnější případy patří snahy, které by mohly vést k vývoji biologických zbraní.
Anthropic uvádí, že v období od prosince 2025 do srpna 2026 firma zablokovala aktivity v několika různých oblastech, včetně kybernetických útoků, špionáže a kampaní pro ovlivňování veřejného mínění. Zneužívány byly v téměř všechny standardní modely, tedy Haiku, Sonnet a Opus, zatímco u nejvýkonnějších modelů Mythos nebyl zaznamenán žádný případ s výjimkou jednoho nelegálního pokusu o destilaci modelu za účelem vytvoření jeho repliky s podobnými schopnostmi. To je ale dáno i tím, že tento model není veřejně dostupný.
Pokud jde o výše zmíněná biologická rizika, Anthropic identifikoval několik konkrétních případů, kdy se aktéři snažili obejít kontrolní mechanismy, nicméně sama firma zde upozorňuje na to, že zejména v takto citlivých oblastech není nikdy jisté, zda je o přední výzkum, který má posunout lidstvo dopředu, nebo o pokus vyvinout biologickou zbraň.
Jeden z pokusů se snažil získat pomoc při psaní grantové žádosti na výzkum viru chikungunya, což se zdá být na první pohled legitimní. Zde ale šlo o GoF (gain-of-function) výzkum, což míří spíše na snahu o genetické modifikování organismů např. za účelem zesílení nakažlivosti nebo zvýšené jeho schopnosti uniknout imunitnímu systému. Další případy zahrnovaly plánování experimentů s přizpůsobením ptačí chřipky na savce a podobně.
Firma proto u novějších modelů zavedla mnohem přísnější omezení pro dotazy týkající se takového dvojitě použitelného biologického výzkumu. V případě detekce takových dotazů je tedy přesměrovala na starší modely. Takové modely jsou totiž podle Anthropicu pod prahem, kde by mohly zkušenému uživateli skutečně pomoci s nebezpečným výzkumem, nicméně u současných verzí již tuto jistotu společnost nemá.
Zajímavým případem je ruská špionážní skupina Midnight Blizzard, která pomocí AI automatizovala celý řetězec útoku a zajímavostí je i mechanismus, který autonomně přepisoval kód malwaru v momentě, kdy byl detekován bezpečnostními produkty, a to až do doby, než pro ně byl opět neviditelný a nedetekovatelný. Cílem byly především organizace na Ukrajině a v Evropě, např. dodavatelé vojenských dronů.
Máme tu také rozsáhlé operace na ovlivňování veřejného mínění z Ruska, Íránu či Turecka, kde byl Claude používán k generování obsahu pro falešné zpravodajské weby nebo manipulaci s volbami v Malajsii. Pozorován byl i případ, kdy někdo pomocí Claude vytvořil 70 zpravodajských webů šířících vyfabulované politické zprávy. K nim měl 70 účtů na sociálních sítích a 250 botů, kteří pomáhali s vytvářením komentářů. Anthropic zároveň varuje před novým trendem krádeže API klíčů, které útočníci využívají k získání výpočetní kapacity na účet oběti a ke schování své identity.
