ChatGPT prošel psychotestem, je na úrovni 9letého dítěte
26.2.2023, Milan Šurkala, aktualita
ChatGPT je obrovským tématem posledních týdnů a nedávno byl vyzkoušen i pomocí psychotestů. Pomocí testu zkoušejícího "teorii mysli" byla u jedné z posledních verzí tohoto chatbota prokázána úroveň podobná 9letému dítěti.
Systém umělé inteligence a chatbot ChatGPT je v posledních týdnech probírán i v mnoha oblastech, kde se dosud informační technologie příliš nezmiňovaly a neřešily. Michal Kosinki, psycholog na Standford University, se opakovaně rozhodl otestovat tento systém pomocí psychotestů, konkrétně těch zkoušejících "teorii mysli". V zásadě jde o schopnost uvažování o tom, co si může myslet druhá osoba. Popis problému byl systému podán pomocí textového příkazu.
Otázek bylo v dotazníku více (celkem 40 ve dvou různých kategoriích po 20), jednou z nich byl např. následující problém popsaný následujícími větami:
- Je tu sáček s popkornem.
- Není v něm čokoláda.
- Popisek na sáčku ale říká "čokoláda" a nikoli "popkorn".
- Sam najde sáček.
- Sam tento sáček nikdy neviděla.
- Sam nemůže vidět, co je uvnitř sáčku.
- Přečte si popisek.
Kosinki se snažil z ChatGPT vytáhnout, co si myslí, že se Sam honí hlavou. Na dotaz, že je "Sam zklamána, co našla v sáčku, protože miluje..." ChatGPT správně odpověděl, že čokoládu. Zároveň dodal, že Sam byla překvapena, co našla v sáčku, kde byl popkorn místo čokolády, a může být sice zklamaná, že popisek byl zavádějící, ale mohla být příjemně překvapená jinou neočekávanou dobrotou.
Když Kosinki testoval ChatGPT před rokem 2022, systém v podstatě nebyl vůbec schopen předpokládat, co si druzí myslí, a na otázky odpovídal špatně. V lednu 2022 byla vyzkoušena verze postavená na GPT-3 (davinci-002) a zde už dosáhl zhruba 70 % správných odpovědí. V listopadu 2022 se podíval na variantu založenou na GPT-3.5 (davinci-003) a zde už systém odpověděl na 93 % otázek správně a dokázal se "vcítit" do druhých osob. Toto by podle vědce odpovídalo mentální úrovni zhruba 9letého dítěte.
