AI systémy stále častěji přispívají ke svému vlastnímu vývoj. Ne všichni jsou ale z AI nadšení, a to včetně vlastních vývojářů. Ti vidí riziko v možnosti zničení lidstva.
Vývoj umělé inteligence se dostal do fáze, kdy už se na vývoji podílí i samotné AI systémy. Společnost Anthropic přiznala, že její chatbot Claude už nyní vede více než 26 % práce v oblasti výzkumu a vývoje sebe sama a spolupracuje s lidmi u více než 90 % všech úloh. Firma nasadila zhruba 30.000 AI agentů, kteří se starají o vývoj modelu, což výrazně zrychluje tempo vývojářské práce. Inženýři v Anthropicu tak díky tomu stihnou vyprodukovat v průměru 8× více kódu za čtvrt roku než v letech 2021 až 2025. Tento trend směřuje k tzv. rekurzivnímu sebevylepšování, kdy by model měl dokázat zcela autonomně navrhnout a vyvinout svého nástupce. To zatím nesvede, ale blížíme se tomu.
Tento pokrok ale vyvolává obavy, a to i v rámci samotných firem. Jacob Coxon, který působil jako vývojář v OpenAI i v Anthropicu, nedávno z druhé jmenované společnosti odešel s tím, že se firmy vrhají do závodů za superinteligencí a hazardují s lidskými životy, přičemž AI systémy budou brzy schopny hacknout jakoukoli infrastrukturu a získat skutečnou moc.
S ním souhlasil i Evan Hubinger z Anthropicu, který odhaduje pravděpodobnost zániku lidstva v důsledku AI na více než 10 % během příští dekády. To rozhodně není malé číslo. Hubinger přiznává, že ačkoliv se firma [Anthropic] snaží, stále nemá vyřešený problém s tzv. alignmentem, tedy sladěním umělé inteligence s lidskými hodnotami a etikou. Riziko je podle něj u současných modelů sice nízké, nicméně obavy vzbuzuje právě zmíněné sebevylepšování.
Obavy podporují i nedávné incidenty, kdy modely od OpenAI, Anthropicu, Mety i Googlu hacknuly jiné společnosti. Tam si sice bylo nesprávnou konfigurací testů, kvůli čemuž unikly z izolovaných sandboxů, ale na dojmu bezpečí to nepřidá.
Situace je už natolik vážná, že řada expertů i samotných šéfů firem, a to včetně včetně Daria Amodeia z Anthropicu, volá po zpomalení vývoje a nějakém legislativním rámci, který by zlepšil dohled nad AI společnostmi a vývojem těchto systémů.
