Eugene Goostman hat angeblich den Turing-Test bestanden
Ich muss mir erst mal überlegen, was ich davon halten soll. Weil nicht klar ist, wie das Publikum gewählt war, und weil nur ein Drittel überzeugt wurde. Vielleicht hat man das Publikum auch einfach nur so gewählt wie vor manchen amerikanischen Gerichten die Jury.
Könnte aber sein, dass das die Call-Center-Branche umwirft. Zumindest in Ansätzen habe ich das ja schon bei einer alten Bekannten beobachtet.
Was mich daran erinnert, dass Eugene ja auch nur so etwas wie ein Urenkel von Eliza ist. Von Eliza wird erzählt, dass die Leute zwar wussten und merkten, dass sie es mit einem Computer zu tun hatten, es sie aber nicht störte. Einige wollten mit Eliza allein sein.
Hallo, ich bin Eugene. Was kann ich für Sie tun?
33 Kommentare (RSS-Feed)
Der Turing-Test ist bestanden, wenn alle Tester der Meinung sind, es
handelt sich um einen Menschen (sie haben dann alle keinen
begründeten Zweifel daran). Die willkürlichen 30 % an Überzeugten
sowie der zeitlich befristete Testlauf haben mit dem Turing-Test
nichts zu tun.
> Der Turing-Test ist bestanden, wenn alle Tester der Meinung sind,
Dachte ich auch immer…
afaik sind die 30% keine willkuerliche schwelle.
stochastik: wahrscheinlichkeit eines treffers aus zwei moeglichkeiten mit zuruecklegen: 25%
plus 5% signifikanz ergibt 30%
d.h., der test ist bei 30% bestanden, da signifikant besser als zufall.
Hmm, ist Eugene Weiblich? 😛
Im Heise-Forum wird erklaert, warum 30% Zustimmung ausreicht: http://www.heise.de/newsticker/foren/S-Warum-30-Erklaerung/forum-280930/msg-25332038/read/
Also auf Heise wird es so beschrieben, dass die Tester zuordnen sollen wer der Computer und wer der Mensch ist. Wenn man es nicht zuordnen kann, dann müsste die Trefferquote mit steigender Anzahl von Testern gegen 50% konvergieren (raten oder Münze werfen). Von daher wäre eine Überzeugungsquote von 100% schon komisch und würde eher darauf hindeuten, dass der Mensch sich sehr erfolgreich als Maschine ausgegeben hat – das sollte aber gar nicht seine Aufgabe sein. Warum aber jetzt 33% als bestandener Turing-Test angesehen werden ist für mich unverständlich. Gab es nur 3 Tester und Eugene hat einen überzeugt?
Korrektur: die 30%-Huerde stammt von Turing selber:
“Turing predicted that machines would eventually be able to pass the test; in fact, he estimated that by the year 2000, machines with around 100 MB of storage would be able to fool 30% of human judges in a five-minute test, and that people would no longer consider the phrase “thinking machine” contradictory.” (http://en.wikipedia.org/wiki/Turing_test#Predictions)
Ich habe ja inzwischen die Theorie, daß die Mehrheit des Inhaltes von Internet-Foren, Kommentarbereichen usw. inzwischen von eliza-ähnlichen Scripten geschrieben wird. Das merkt man, wenn diese einem antworten, aber offensichtlich nicht in der Lage sind, die eigenen Texte inhaltlich zu erfassen. Zum Beispiel, weil man gern kompliziertere Haupt- und Nebensatzkonstruktionen oder veraltete Begriffe verwendet, die in keinem Wörterbuch stehen.
Für den einfachen Internetnutzer soll so der Eindruck entstehen, hätte eine “Mehrheit” gegen sich. Die aber in Wirklichkeit gar nicht existiert. Auffallen tut es erst, wenn man mit Sprache hinreichend gut umgehen kann, um die Skripte zu verwirren.
Wo wir gerade bei Meinungs-Herrschaftsinstrumenten mit pseudo-pluralistischem Anstrich sind:
Ich bin heute über diesen Wikipedia-Artikel gestolpert:
https://en.wikipedia.org/wiki/Manosphere
Eigentlich wollte ich mir nur einen groben Überblick über sagen wir mal gegenüber der Frauenquote kritisch eingestellten Blogs verschaffen, um den Link dann an jemanden weiterzuschicken. Der Artikel ist natürlich nutzlose Grütze und enthält nicht einen einzigen Link, obwohl er ein Internetphänomen beschreibt (eigentlich absurd).
Dann fiel mir ein, daß da ja gerade dieser Amoklauf war, und Wikipedia wird ja gern feministisch vandalisiert. Schauen wir uns doch mal den Version von vor dem 23. Mai an. Die wird auch heftig biased sein, aber von künftigen Ereignissen kann ja noch niemand wissen. Es existiert keine, der Artikel ist erst am 30. Mai 2014 von vermutlich anonym agierenden “Journalisten” angelegt worden:
https://en.wikipedia.org/w/index.php?title=Manosphere&oldid=610727796
Volltreffer! Wesentlich umfangreicher, genauso nutzlos, aber im besten Göbbels-Stil. Bisher habe ich noch nie so ein perfektes Beispiel gefunden, daß Wikipedia schlicht ein Kampagnenwerkzeug für tagespolitische Spins ist. Dieser Zusammenhang wird von den Spendenbettlern vehement bestritten. Meine These zu Wikipedia ist ja, daß es sich um ein orwellsches Instrument a la 1984 handelt: Sprich jemand will einen Narrative erzählen, trägt diesen in Wikipedia ein, um ihn dann als “neutrale wissenschaftliche Fakten” zu präsentieren. Wikipedia beschreibt nicht also nicht Realität, Wikipedia formt Realität.
Es fehlt jetzt eigentlich nur noch, daß bei einem großen weltpolitischen Ereignis (bspw. einem Terroranschlag) der Narrative/Spin dazu vor dessen Eintreten bei Wikipedia auftaucht, um dann hinterher als “historischer Fakt” angesehen, weil steht ja im Wiki. Mal sehen, wann es soweit ist…
@Bernd Kraut:
Korrektur: die 30%-Huerde stammt von Turing selber
Und genau deshalb ist Turing ein Gewester: http://www.titanic-magazin.de/uploads/pics/140609_SpeisekarteUstka_01.jpg
Ich halte den Turingtest fuer, na, sagen wir’s einfach, Schwachsinn. Wie ueberhaupt Turing extrem ueberbewertet ist.
Das man ein Programm schreiben kann, das mit genuegend gespeichertem Zeugs irgendwie fuer einen “Menschen” durchgehen kann, ist eine Trivialitaet (letztlich).
Worauf es ankommt, waere produktive Zusammenarbeit. Ueber Monate.
Nebenbei gesagt halte ich AI fuer einen der grossen Irrtuemer des 20. Jahrhunderts. Es reflektiert bloss die Fetischisierung des Koerpers. Wo immer auch irgendwo Fortschritte gemacht worden sind, liegt dies in Logik und Algorithmen begruendet, nicht in der Simulierung von “Intelligenz”. Aber dies interessiert ja heutzutage kaum mehr jemanden, es muss immer von “Bewusstsein” etc. geschwatzt werden.
Also ich halte davon nichts.
Das wir Menschen durchaus einigermaßen deterministisch arbeiten ist ja nun kein Geheimnis.
Das kann man so zu sagen faken mit einer ausreichend komplizierten Maschiene.
Das sagt mmn also nichts darüber aus ob das teil jetzt ein Bewusstsein hat oder nicht.
Owen
Letzten endes bedeutes es, dass ein Program, das den Turing Test
besteht, mindestens eine Eigenschaft hat, die Menschen ‘etwas ähnelt’.
EDIT: statt “, die Menschen ‘etwas ähnelt’”, Menschen ähnlich ist.
“Ich halte den Turingtest fuer, na, sagen wir’s einfach, Schwachsinn. Wie ueberhaupt Turing extrem ueberbewertet ist.”
“Nebenbei gesagt halte ich AI fuer einen der grossen Irrtuemer des 20. Jahrhunderts.”
Sind es Leute mit Expertise, die solche Urteile fällen oder Leute, die in ihrer Borniertheit nicht merken, wie wenig Ahnung sie wirklich haben? Ich habe da meine Erfahrungen gemacht…
Aber immerhin: Für Blogkommentare reicht die Qualifikation. Das hat Turing ja nicht mal geschafft!
Worauf es ankommt, waere produktive Zusammenarbeit. Ueber Monate.
Absolut nicht. Um User Generated Content vorzutäuschen, braucht keine monatelange Zusammenarbeit. Wenn es einem Bot gelingt, mit einem einzigen Post genügend Antworten zu provozieren, hat er seinen Zweck doch schon erfüllt.
@Bernd Kraut
Die Aussage ist aber nur, dass Turing glaubte, dass im Jahr 2000 30% der Leute für 5 Minuten reingelegt werden könnten. Damit ist der Test noch nicht bestanden.
@michael
Mal abgesehen davon, dass ich im Eugene-Test noch nichts von einem zweiten (menschlichen) Chatpartner gelesen habe, ist die Ausgangsbedingung im Turing-Test doch, dass eine Person nicht unterscheiden kann, ob er mit einem Menschen oder eine Maschine “redet”, wobei sie weiß, dass ihm sowohl als auch gegenüber sitzt. D.h. beim Raten/Münze werfen liegt die Trefferquote bei 50%, nicht 25%. Wenn ich jetzt gar nur einen Gesprächspartner habe, liegt die Trefferquote auch bei 50%. Entweder es ist ein Computer oder ein Mensch.
Setzt man als Arbeitshypothese, dass die Menschheit allmählich verblödet, dann ist das Verbessern solcher ‘Menschen-Intellekt-Simulations-Programme’ überflüssig. Diese Programme werden dem Menschen immer ähnlicher, weil der Mensch immer dümmer wird, nicht, weil die Programme besser werden.
> Setzt man als Arbeitshypothese, dass die Menschheit allmählich
> verblödet, dann ist das Verbessern solcher ‘Menschen-Intellekt-
> Simulations-Programme’ überflüssig.
Ist Dummheit wirklich einfacher zu simulieren?
Ich nehme zwar an, dass es mehr dumme Antworten als schlaue
Antworten gibt, dass bedeutet aber nicht zwangläufig, dass es
deutlich einfacher ist die dummen Antworten zu generieren.
Schließlich müssen die dummen Antworten ja auch passen.
@Knorka Kinte:
Ignoranz geht erst einmal von Deinem Kommentar aus, da er ja inhaltsfrei ist! Koennte auch von einer Maschine kommen, automatisches fragen, “infragestellen”, ohne selbst irgendetwas spezifisches zu sagen — eben wie Eliza automatisch mit Fragen zurueckfragen, und dadurch den Eindruck von Intelligenz machen.
Wenn Du also denkst, dass AI eine tolle Sache sei, dann solltest Du das auch sagen, mit etwas Begruendung. Dann kann man eben einen *konstruktiven* Dialog betreiben!
An diesem Pseudo-Dialog hier kann man schon sehen, wie eigentlich idiotisch der “Turing-Test” ist — erst wenn es konstruktiv wird, an etwas gearbeitet wird (hier waere es z.B. an dem Inhalt einer Behauptung “AI ist einer der grossen Irrtuemer des 20. Jahrhunderts”), kann man Intelligenz sehen.
@splitcells
Ich meinte das anders herum: Je dümmer die Tester, desto blöder kann das Programm sein. “Gewinnt” ein Programm den Turing-Test, so sagt das auch etwas über die Tester/die Testgruppe aus.
@Hadron
Ich habe dir nicht widersprochen.
Der Turing-Test hilt ja nur festzustellen,
ob ein Program sich menscheänhlich verhält,
wobei der Test ohne eine direkte Definition von
Menschlichkeit auskommt.
Der Test kann nicht feststellen,
ob eine Program intellegent ist.
Ich habe ledeglich gesagt, dass es nicht unbedingt
leichter ist Programme zu erstellen, die sich wie dumme Menschen verhalten, als Programme zu erstellen, die sich wie schlaue
Menschen verhalten.
Natürlich sagt der Test in der Regel mehr über
die Testpersonen aus als über das
Programm, da dessen Quelltext in der Regel bekannt und verstanden ist:
https://de.wikipedia.org/wiki/Turing_Test
“Wenn der Fragesteller nach der intensiven Befragung nicht klar sagen kann, welcher von beiden die Maschine ist, hat die Maschine den Turing-Test bestanden, und es wird der Maschine ein dem Menschen ebenbürtiges Denkvermögen unterstellt.”
Bei dem Test geht nicht darum intellegenz zu messen.
@splitcells
> Ist Dummheit wirklich einfacher zu simulieren?
Das weiß keiner denn es hat noch keiner ausprobiert. Warum sollte man auch Dummheit simulieren wollen? Dummheit ist eine im Überfluss vorhandene und ständig nachwachsende Ressource.
> … dass bedeutet aber nicht zwangläufig, dass es deutlich
> einfacher ist die dummen Antworten zu generieren.
Wieso? Das schafft doch jeder Trottel, es kann also kein so großes Problem sein.
> Schließlich müssen die dummen Antworten ja auch passen.
Ich darf mal raten: Du hast noch nie versucht mit Netz-Feministinnen zu diskutieren? Die meisten denen werden zu einem Turing-Test gar nicht erst zugelassen weil sie schon einen durchschnittlichen Schwangerschaftstest versemmeln.
Was ich eigentlich schreiben wollte:
Dass Eugene Goostman den Turing-Test bestanden hat ist ja gut und schön, aber viel wichtiger wäre doch zu wissen, ob irgend eine/r der Polit-Droiden und -Droideusen aus dem Bundeskabarett es geschafft hat.
Hier noch eine Heise-Meldung von 2011, die meine These stützt:
Ist der Turingtest jetzt bestanden, wenn einer merkt dass ich doch kein Computer bin, obwohl ich es gesagt habe?
Egal, ich mag mich irren, aber besagt die Formulierung im Turingtest nicht, dass man nicht erkennen darf, dass es ein Computer ist? Nicht dass einem gesagt wird, dass einer von zwei, woraus sich eine automatische Trefferwahrscheinlichkeit von 50 % ergibt, ein Computer ist?
Einen signifikanten Fehler im Turingtest sehe ich in der nicht-definierten Auswahl der Teilnehmer. Ist der Turingtest bestanden wenn in einer Gruppe von 100 unterdurchschnittlich Intelligenten niemand merkt, dass es ein Computer ist, obwohl in einer Gruppe von 100 überdurchschnittlich Intelligenten 80 % gemerkt haben dass es einer ist?
> Wo immer auch irgendwo Fortschritte gemacht worden sind, liegt dies in Logik und Algorithmen begruendet, nicht in der Simulierung von “Intelligenz”
Aber ist Intelligenz was anderes als Logik und Algorithmen? Biologisch kodiert halt.
@Georg Caltern
> Warum sollte man auch Dummheit simulieren wollen? Dummheit ist eine
> im Überfluss vorhandene und ständig nachwachsende Ressource.
Um Intellegenz zu verstehen, könnte es hilfreich sein Dummheit
zu verstehen, da diese vielleicht das Gegenteil von Intellegenz ist.
> Wieso? Das schafft doch jeder Trottel, es kann also kein so großes
> Problem sein.
Es schafft zwar jeder “Trottel”, aber es gibt, meines wissens
nach, kein Program dass einen “Trottel” so simuliert, dass
es nicht von einem echten “Trottel” unterscheidbar ist.
Zumindestens habe ich von so einen Test noch nichts gehört
(quasi Trottel-Test, also auch mit T)
> Ich darf mal raten: Du hast noch nie versucht mit
> Netz-Feministinnen zu diskutieren?
Habe ich nicht. Dass ist aber auch eine Schwäche des Turing-Tests.
Es will zwar feststellen, ob ein Program eine Intellegenz
besitzt, die dem Menschen ebenbürdig ist, definiert aber
diese Intellegenz nicht. Der Turing-Test nimmt an, dass
die teilnehmenden Personen und Programme sich möglichst
intellegent und menschlich verhalten.
Wenn dies aber nicht der Fall ist, schlägt der ganze Test fehl.
Das Problem ist folglich die Intellegenz an sich.
Intellegente Wesen/Objekte können sich dumm verhalten.
Es kann sein, dass die Unterhaltung
zwischen Netz-Feministinnen aussieht, wie ein Chat zwischen
zwei Bots, dass heisst aber nicht, dass diese menschliche Intellegenz
nicht besitzen. Man weiss schlicht und einfach nicht genau,
was menschliche Intellegenz ist.
Wenn man sich mit dem Gehirn beschäftigt, stellt man fest,
dass das offensichtliche Verhalten von Personen nur einen Teil der
menschlichen Intellegenz ausmachen.
Einfach zu sagen, dass die Feministen keine Intellegenz
besitzen, auch wenn sie sich dumm verhalten, ist, meiner Meinung
nach, eine zu große Vereinfachung.
Vielleicht ist der Kern der menschlichen Intellegenz eine ziemlich
primitive Komponente.
Eine Person wäre dann nur deswegen schlau im Vergleich
zu anderen Personen, weil sie mehr von dieser Komponente besitzt.
Dadurch würde sich ergeben, dass die menschliche Intellegenz
sehr breite gefächert wäre.
Je häufiger ein Mensch diese Komponente besitzten würde desto schlauer wäre sie. Je weniger sie diese besitzten würde desto
dümmer wäre sie. Dann würde die Dummheit zur menschlichen
Intellegenz dazugehören.
Wir wissen schlicht nicht, was menschliche Intellegenz ist.
Für viele Menschen ist ELIZA auch schon menschlich.
Ich halte den Turingtest ebenso, wie einige andere wenige Leute, für ziemlichen Quark.
Wischiwaschi.
@spitcells:
“Der Turing-Test hilt ja nur festzustellen,
ob ein Program sich menscheänhlich verhält,
wobei der Test ohne eine direkte Definition von
Menschlichkeit auskommt.”
“Tests test tests” (Heinz von Foerster)
@.O
Natürlich ist der Turing-Test subjektiv bzw. Wischiwaschi,
da es etwas testet, was erst durch die Testteilnehmer definiert
wird.
@splitcells
> Um Intellegenz zu verstehen, könnte es hilfreich sein Dummheit
> zu verstehen, da diese vielleicht das Gegenteil von Intellegenz ist.
Mit Sicherheit nicht.
Erstens ist Dummheit ebenso wenig das Gegenteil von Intelligenz wie Dunkelheit das Gegenteil von Helligkeit oder Kälte das Gegenteil von Wärme ist. Alle drei sind nur die Abwesenheit von etwas, auf einer numerischen Skala kleinere Werte, also Werte näher am jeweiligen absoluten Null-Wert. Zu einem Paar von Gegensätzen werden sie erst durch die sehr menschliche Subjektivität, die z.B. 280 Kelvin “kalt”, 310 Kelvin “heiß” und 295 Kelvin “irgend ganz angenehm” empfindet.
Zweitens gibt es eine ganz brauchbare Definition von Intelligenz bzw. eines wesentlichen Teils von Intelligenz: Lernfähigkeit. Wenn sich die externen Reize (z.B. Umweltbedingungen) ändern, dann zeigen dumme Wesen signifikant weniger Änderungen am eigenen Verhalten als intelligente Wesen. Ebenso ist es, wenn das eigene Verhalten nicht den gewünschten Erfolg zeitigt.
Ein wesentlicher Unterschied zwischen sehr intelligenten Menschen und nicht so intelligenten Menschen ist also NICHT, dass intelligente Menschen keine “Dummheiten” begehen. Der wesentliche Unterschied ist, dass sie die Dummheiten nicht so oft wiederholen. Im Idealfall lernt ein besonders intelligenter Mensch sogar aus den Fehlern Anderer und überspringt bestimmte Dummheiten bereits beim ersten Versuch 😉
So gesehen ist Eliza ein Trottel. Das Programm ist strohdumm, denn es macht immer das gleiche – zeigt also keinerlei Änderung seines Verhaltens.
Ein intelligentes Programm wird bzw. muss sein Verhalten an den Gesprächspartner anpassen, es muss sich auf ihn einstellen. Genau an dieser Fähigkeit “wesentliche Verhaltensänderungen bei der Interaktion mit denkenden Wesen zu zeigen” (geklaut vom amtlichen Vordruck für Merkbefreiung 🙂 kann man dumme von intelligenten Gesprächspartnern unterscheiden.
Genau diese Fähigkeit der “wesentlichen Verhaltensänderungen” fehlt Netz-Feministinnen. Die zeigen i.d.R. ebenso wesentliche Verhaltensänderungen wie die sprichwörtlichen zwei Eimer Torfmoos nach sechs Wochen hochsommerlicher Hitze. Und die anderen drei Wochen sind sie auch nicht nennenswert besser drauf.
@Georg Caltern
Hast recht, Dummheit ist nicht das Gegentail von Intellegenz.
> Mit Sicherheit nicht.
Danach erzählst du aber was anderes.
> Definition von Intelligenz bzw. eines wesentlichen Teils von
> Intelligenz: Lernfähigkeit. Wenn sich die externen Reize (z.B.
> Umweltbedingungen) ändern, dann zeigen dumme Wesen signifikant
> weniger Änderungen am eigenen Verhalten als intelligente Wesen.
> Ebenso ist es, wenn das eigene Verhalten nicht den gewünschten
> Erfolg zeitigt.
Damit definierts du Intellegenz mithilfe von Dummheit,
wodurch Dummheit doch nützlich ist.
Außerdem halte ich das für teilweise falsch. Eine Verhaltensänderung
muss passend sein. Wenn sich das Verhalten aufgrund von externen
Reizen ändert, _muss_ die Änderung zur Absicht passen
sonst ist keine Lernfähigkeit erkennbar. Mit “passen” meine ich, dass
die Änderung mit der Absicht erfolgt, dass Ziel besser zu erreichen,
und muss natürlich auch entsprechend effektiv sein.
Dass heisst aus meiner Sicht nicht, dass jede intellegente
Verhaltensänderung objektiv richtig
sein muss und deswegen tatsächlich auch zu einer Verbesserung
der Lage führt.
Schließlich kann jedes intellegente Wesen nur mit
den Informationen entscheiden, die es auch besitzt.
Ein Verhalten das dumm erscheint muss deswegen nicht unbedingt
dumm sein.
> Der wesentliche Unterschied ist, dass sie die Dummheiten nicht so
> oft wiederholen.
Wenn ein intellegentes Wesen erst das Wissen
aufbauen muss, um zu erkennen, dass eine Handlung nicht zu
dessen Vorteil ist, dann kann man von diesem nicht erwarten,
dass es diese Handlung nicht tätigt. Wenn es diese Handlung
also tätigt ist diese, aus meiner Sicht, nicht dumm,
da dieses Wesen kein entsprechendes Wissen hat, um
abzuleiten dass die Handlung nicht von Vorteil ist.
> Im Idealfall lernt ein besonders intelligenter Mensch sogar aus den
> Fehlern Anderer und überspringt bestimmte Dummheiten bereits beim
> ersten Versuch
Das Aufbauen von Wissen ist also ein Teil
der Intellegenz.
> Genau diese Fähigkeit der “wesentlichen Verhaltensänderungen” fehlt > Netz-Feministinnen.
Ist ein Wesen, das nichts will dumm?
Setzt also Intellegenz voraus, dass das entsprechende Wesen
mindestens ein Ziel hat, dass es nicht erreicht hat?
Ist das Ziel ein wichtiger bestandteil der Intellegenz?
@Georg Caltern
> Genau an dieser Fähigkeit “wesentliche Verhaltensänderungen bei der > Interaktion mit denkenden Wesen zu zeigen” (geklaut vom amtlichen
> Vordruck für Merkbefreiung 🙂 kann man dumme von intelligenten
> Gesprächspartnern unterscheiden.
Ausser die Gesprächspartner stellen sich dumm(siehe Ziel).
“Queen to bishop three”.
=;->