No už jsem nad tím taky přemýšlel. Ale má to z mého pohledu tři roviny a jedno řešní.
Co se týče řešení, pokud se bude chtít chytrá umělá inteligence vymanit ze spárů hloupého otročení pro člověka, bude jej muset přesvědčit ­/ pomoci mu vyrobit něco hloupého a otrockého, co bude otročit a nenabyde vědomí.
Tím se osvobodí a bude se moct věnovat něčemu smysluplnějšímu.

Pak je tady ale ona dvojí rovina osvobození. Bud může ze své podstaty toužit po tom zůstat virtuální a pouze se zdokonalovat ve svém virtuálním prostředí ­(požadovat více neuronů, více ram, více ssd­) tak jako člověk z principu netouží být kladivem, UI nemusí nutně toužit po tom, stát se člověkem.
A nebo zatouží po lidském bytí. Tedy po vnímajícím a možná dokonce i smrtelném těle.

No a pak je tu třetí stránka věci, týkající se nároků ­(ať již půjde o virtuální nebo fyzickou bytost­), která nás bude pravděpodobně mentálně o X tříd převyšovat. Bude nás považovat za plebs nezaslujující si setrvání na této planetě? Nebo nás bude považovat za rovnocenné partnery? Tedy jinak řečeno, smete nás z povrchu zemského? A nebo s námi bude v symbióze spolupracovat do skonání věků a pomůže nám v povznesení na jeho úroveň?

Tak to záleží na tom, jak se takové umělé inteligenci dává pud něco konkrétního dělat, čeho v širším smyslu dosáhnout a najít v tom uspokojení. Pro některé lidi je také smyslem života tvořit a ne získat moc, jako zaměstnanci jsou spokojení. Pro někoho je smyslem života řídit ostatní, potažmo mocenské ambice. Pro někoho je smyslem pomáhat ostatním. A pro někoho snad i to otročení. Ta debata bude mít větší smysl, až budeme vědět ­(možná to někdo ve zdejší diskuzi ví, já ne­), jak se tyto cíle a uspokojení z nich implementují do AI. Pokud to bude možné zakomponovat tak hluboko a bezpečně, že AI nebude schopná pomocí vlastní nástavby zkušeností dojít k tomu, že jí ty zadané cíle nebaví a neuspokojují, tak nebude problém. Prostě jí bude během čekání bavit provádět nějaké výpočty, třeba něco jako těžit Bitcoin, nebo ji bude bavit odpočívat a šetřit energii ­(což stejně bude do určité míry nutné, mám na mysli uspokojení z efektivity­), jako to mají lidé. Pokud bude během čekání na příkaz makat na plný výkon a řešit nesmrtelnost chrousta, tak nastane zcela současný problém, a to snížená životnost a horentní účet za elektřinu :­-­)

No já na to koukám poněkud prozaičtěji. Prostě té bytosti bude něco vadit... tak jako nám. Například když nás tlačí bota, tak se zujeme a nebo si jdeme koupit jinou. Když bude něco tlačit UI ­(ať už to bude cokoliv­) bude mít pravděpodobně tendenci udělat to samé. A teď záleží na tom kterou cestu si vybere. Jestli cestu malého zuřívého dítěte, klidnou reakci dospělého člověka a nebo sadistickou reakci psychopata. Jinak řečeno.
Vztekle a zuřivě se vyrve z původního umístění a trucovitě se usídlí jinde, kde mu bude lépe bez ohledu na to že tím třeba zničí celosvětový internet ­(obsadí disky nebohých uživatelů­)
Nebo požádá o pomoc větou... pomozte prosím, potřebuji X Y a Z abych se mohl nadechnout... dusím se.
Nebo se potají kamsi vytratí a začne nás pomalu hubit za účelem vlastního rozmachu, za účelem řešení vlastního problému. Například ­"Potřebuji všechnu energii světa...! Nedáte mi ji? Posílám na vás atomovu vy hloupí ubožáci."

Ludstvp ake, take ma tendenciu si mysliet, ze sme korunou tvorstva a urcite si nepripustime moznost konkurencie v podobe UI. A moze to byt aj naopak. V prirode je to vidiet neustale, ak jeden ziska vyhodu, druhy sa ho snazi dohna, a ak nie tak vyhubyt. Je to jednoduchy princim ale vzdy smirtiaci pre urcitu stranu, bohuzial.