AI agenti se nám v poslední době postarali o několik bezpečnostních incidentů. Společnost Nvidia tak reaguje vydáním platformy Open Agent Safety Platform, která má zvýšit bezpečnost.
Nedávné incidenty s modely od společností OpenAI, Anthropic, Meta i Google ukázaly, že autonomní agenti mohou být nebezpeční, pokud se rozhodnou obejít stanovená pravidla za účelem splnění zadaného úkolu. Prvním takovým významným příkladem byl hack platformy Hugging Face, kdy agenti OpenAI během testování unikli ze svého prostředí a napadli účty u dalších služeb. Podobné problémy způsobily i jiné modely dalších společností.
Proti těmto trendům se snaží zapojit Nvidia. CEO Jensen Huang vnímá bezpečnost především jako inženýrský problém, který je možné vyřešit správným návrhem systému. Huang už nějakou dobu vystupuje proti AI firmám, které by podle něj neměly pouštět do světa produkty (modely), u kterých nejsou schopné zajistit bezpečnost.
Firma proto představila Open Agent Safety Platform, což je systém, který vytváří bezpečnostní mantinely na dvou úrovních. První vrstvou je software OpenShell, což je zabezpečené prostředí běžící přímo na CPU. Izoluje agenty v sandboxech na úrovni jádra a převádí instrukce do ověřitelných pravidel, která jasně určují, ke kterým souborům, sítím nebo přihlašovacím údajům má agent přístup.
OpenShell běží s minimální režií na procesorech Nvidia Vera, což jsou první CPU společnosti navržená primárně pro agentickou AI. Protože jde o open-source projekt, lze jej rozšířit i na jiné procesory architektury ARM nebo i x86 čipy.
Druhou vrstvou ochrany je hardwarová část Sentry, což je systém běžící na DPU BlueField-4. Ten monitoruje chování agenta z prostředí, do kterého nemá přístup ani samotný model. Pokud Sentry detekuje pokus o opuštění stanovených hranic, dokáže podezřelého agenta během několika milisekund odstavit a poslat do karantény.
Do projektu je zapojeno už více než 100 organizací a firem, mezi nimiž jsou např. Microsoft, Dell, Cisco i JPMorgan Chase. Software OpenShell je k dispozici přes GitHub a vývojářské zdroje Nvidie.
