Ačkoli Anthropic vstupuje na burzu a je mezi předními firmami ve vývoji AI, současně varuje před tím, že AI může být pro lidstvo existenční hrozbou.
AI, nad kterou lidé ztratili kontrolu, a která by mohla ohrozit samotné přežití lidstva. Něco takového je námětem nejedné knihy a filmu, nicméně v posledních dnech se to dokonce stalo tématem oficiálních dokumentů společnosti Anthropic pro investory. Firma, která stojí za chatbotem Claude, se připravuje na vstup na burzu a ve svých vlastních dokumentech k IPO (prvotní veřejná nabídka akcií) otevřeně varuje před existenčními riziky, které by mohly být způsobeny AI systémy. Je to velmi neobvyklý krok, protože firma tímto v podstatě přiznává, že její hlavní produkt by mohl vyvolat katastrofu globálního rozměru. Pro lákání investorů opravdu poněkud netypické.
V dokumentech, které mají celkem 261 stran, věnoval Anthropic 80 stran bezpečnostním rizikům a hrozbám. Pro srovnání, popis samotného byznysu zabírá jen 48 stran a SpaceX ve svém obdobném podkladu věnovalo rizikům pouze 38 stran z 277. Firma zde rozebírá např. odpor jeho AI modelů vůči příkazům k vypnutí, snahu o zakrývání interních procesů, manipulaci s informacemi nebo dokonce chování připomínající vydírání. Problémem je také to, že modely začínají poznávat, kdy jsou testovány, a upravují své chování tak, aby prošly bezpečnostními kontrolami, zatímco po nasazení vykazují neočekávané vlastnosti. Zatím se tak nezdá, že by se autoři sci-fi knih a filmů měli nějak zásadně mýlit ve svých předpovědích.
CEO Dario Amodei v souvislosti s tímto vývojem dokonce nedávno veřejně vyzval k zpomalení tempa vývoje. Experti však upozorňují na geopolitické riziko. Na zpomalení vývoje amerických modelů by Čína jistě neodpověděla stejně, jen by to přispělo k tomu, že by získala náskok.
Pokud jde o finanční stránku, Anthropic míří k extrémně vysokému ocenění v hodnotě 2 bilionů USD, což by z jeho IPO udělalo největší prodej akcií v historii, překonal by i SpaceX. Finanční výsledky firmy ale nejsou zrovna růžové. Firma v roce 2025 sice vykázala zhruba 12násobný růst příjmů na 4,6 mld. USD, ale ve výsledku měla čistou ztrátu 42 mld. USD. Problémem je také fakt, že zhruba 25 % těchto příjmů pochází pouze od dvou hlavních klientů. Firma chce v nadcházejících letech investovat do cloudové infrastruktury a výpočetního výkonu celkem 518 miliard USD. Tedy 113krát více, než co jsou její příjmy za celý loňský rok.
Zajímavý je také plán, jak udržet kontrolu nad společností i po vstupu na burzu. Spoluzakladatelé vytvořili Founder LLC, který má chránit vedení před tlakem trhu a zajistit zodpovědný vývoj AI. Sedm zakladatelů bude díky tomu držet 50,1 % celkové moci v hlasování.
