Arh, hvad? Har en computer virkelig bestået Turing-testen?

En af computerverdenens vådeste drømme er at opfinde en maskine, der kan imitere et menneske.

Det er den slags drømme og ikke mindst mareridt, som Hollywood også har kastet sig over – lige fra koldkrigstidens frygt for det fremmede til dagens hæsblæsende actionbrag som eksempelvis genindspilningen af af Robocop.

I weekenden lød det så fra alverdens medier, at denne våde drøm var blevet virkelig. Der var simpelthen bygget en computer, der i sine svar på konkrete spørgsmål kunne snyde lærde folk til at tro, at den var et menneske.

Det skete, efter at en chat-robot hævedes at have bestået den 64 år gamle Turing-test, hvor et panel på 30 personer på Reading Universitetet i England via spørgsmål i fem minutters sessioner over en chat afgjorde, at de fik svar fra en 13-årig ukrainsk dreng ved navn Eugene Goostman.

Men nu bliver der sat flere store spørgsmålstegn ved metodikken i forsøget, hvor 10 ud af 30 dommere i panelet vurderede, at de sad over for et menneske – og ikke et stykke kunstig intelligens – i Turing-testen, som er opkaldt efter den moderne computers fader Alan Turing.

Det skriver Buzzfeed.

Derfor bestod robotten ikke
Første anke i den nyligt afholdte Turing-test på Reading Universitetet er misforståelsen om, at kun 30 procent af et panel skal tro, de sidder over for et menneske.

Denne 30 procent-beståelse er ingen regel, men blot Alan Turings forventninger fra 1950 til, hvor mange panelmedlemmer en god maskine vil være i stand til at snyde i år 2000.

Det hævder panelmedlemmet Murray Shanahan, som til daglig forsker i kognitiv robotteknologi ved Imperial College i London.

Dernæst bliver der sat spørgsmålstegn ved, at den tilsyneladende ukrainske teenager ‘Eugene Goostman’ kun blev adspurgt i fem minutter ad gangen.

Dette tidsrum er ikke specificeret af Alan Turing, forklarer Murray Shanahan.

Hjælper du skildpadden?
Det hæves, at Eugene Goostman ville være blevet afsløret som en gemen chatrobot, hvis paneldeltagerne havde haft længere tid til at stille spørgsmål.

Det kunne være spørgsmål om blandt andet empati og følelser, som en maskine i teorien ville have svært ved at svare troværdigt på over længere tid.

Et eksempel på sådan et spørgsmål er Blade Runner-filmens Voight-Kampff-test, som er en Hollywood-imitation af Turing-test.

I denne film lyder et spørgsmål: ‘Du er i ørkenen og ser en skildpadde ligge på ryggen på dens skjold og få maven stegt af solen, men du hjælper den ikke med at vende sig om. Hvorfor hjælper du ikke skildpadden?’

Et andet væsentligt punkt i kritikken er, at Eugene Goostman blev udråbt til at være en supercomputer, hvilket er ganske langt fra sandheden. Eugene Goostman er en chatbot, som uden videre kunstig intelligens er designet til at efterligne menneskelig kommunikation.

Derudover er det ikke første gang, at en chatbot snyder flere medlemmer i et panel til at tro, at den er af kød og blod. Helt tilbage i 1972 snød chat-robotten ‘Parry’ 48 procent af et panel af psykiatere til at tro, den var en patient med paranoid skizofreni.

Også alderen – 13 år på ukrainske Eugene Goostman – bliver udsat for kritik.

Det skyldes, at chatrobotten grundet sin unge alder og østeuropæiske herkomst har en begrænset viden og et mindre engelsk ordforråd, end hvis man eksempelvis udgav sig for at være en 50-årig britisk museumsinspektør.

Læs også: 
Sådan skabte Alan Turing den moderne computers byggesten