Fake-Artikel in der Informatik
Irgendwer wollte doch, dass ich mal wieder was über Kritik an Informatik schreibe.
In der ZEIT ist ein Artikel erschienen, wonach irgendwer 120 computergenerierte Nonsens-Artikel in Informatik-Journalen durchbekommen hat, und keiner hat gemerkt, dass da nur Quatsch drinsteht. Fällt halt nicht so auf, weil in den meisten Papers sowieso Quatsch drinsteht, auch wenn sie von Menschen geschrieben wurden.
Hauptsächlich IEEE, was mich nicht wundert. Meine Meinung vom IEEE ist denkbar schlecht, und ich war bei denen mal ein paar Jahre Mitglied. Seit ich aber gemerkt habe, wieviele derer, die ich – mit Verlaub gesagt – als trübe und/oder korrupte Tassen und Gefälligkeitsgutachter überführt habe, dort als Fellows geehrt wurden und Einfluss haben. Ich bin dann auch wieder ausgetreten und bekomme seitdem mehrfach jährlich Werbemails, ob ich nicht doch wieder Mitglied werden will.
Und dass sie Springer auch drangekriegt haben, wundert mich auch nicht. Die drucken alles, wenn sich’s hinterher für teuer Geld in Bibliotheken stellen lässt.
Zeigt außerdem, dass die Informatik an Paper- und Schwätzer-Überflutung leidet. Die allermeisten Papers sind reine Write-Only-Papers, die niemals jemand liest. Aber die Verlage verdienen sich an dem Schrott dumm und dämlich, weil es zwar völlig egal ist, was in den Papers steht, aber es allen wichtig ist, dass man ganz viele davon geschrieben hat.
Zudem sind viele Konferenzen schlichtweg Fake-Konferenzen, zu denen man sich auf Gegenseitigkeit einlädt und sich gegenseitig Pseudo-Vorträge präsentiert und anhört. Man besucht sich, man geht zusammen essen, jeder erzählt kurz irgendeinen Senf, über den nicht diskutiert wird, alle haben einen Eintrag mehr im Veröffentlichungsverzeichnis, und der Steuerzahler zahlt’s. Das geht reihum zum nächsten, und nach einem Jahr geht’s von vorne los. Und bei der nächsten Professorenberufung zählt die Zahl der Publikatinen in der Liste. Wer am dreistesten betrügt bekommt die Professur.
Insofern kein Wunder, dass dieser Fälschungsjäger da auch schon 85 gefälschte Papers beim US-Informatiker-Verband entdeckt hat.
Drollig ist natürlich deren Empfehlung, dass man prüfen sollte, ob es die genannten Autoren überhaupt gibt, an den genannten Universitäten forschen und auch Urheber der Papers sind. Ich kenne eine Professorin aus dem Crypto-Umfeld, die auch nen guten Ruf hat, die mal von Bekannten darauf hingewiesen wurde und völlig entsetzt darüber war, dass irgendwelche Leute sie auf Schrott-Papers als Coautorin draufgesetzt hatten, um ihre Chancen für die Annahme zu erhöhen.
Ich bin auch mal selbst auf einer Konferenz in den USA unangenehm aufgefallen, weil ich Fragen gestellt hatte, als nach dem Vortrag gefragt wurde ob es Fragen gibt. Die hatten nur rhetorisch gefragt und nicht erwartet, dass wirklich jemand nachfragt. Ich hatte da in einem Paper einige deftige Fehler gefunden, was insofern erstaunlich war, weil eine der Top-Berühmtheiten der Krypto-Szene als Autor mit drauf stand. Der sagte mir dann nachher am Buffet, dass er sich da nur deshalb als Autor draufsetzen ließ, um den jungen Kollegen zu fördern, und niemand damit gerechnet hatte, dass das jemand liest und prüft.
Jo.
Gibt’s an den Universitäten eigentlich noch irgendwas seriöses? Da fällt mir gerade nichts mehr ein.
18 Kommentare (RSS-Feed)
Physik erscheint mir immer noch ziemlich seriös. Zumindest bei uns gibt’s zwar auch immer mal wieder Reibereien zwischen Doktoranden und Professoren, aber sonst wird hier ehrliche Wissenschaft betrieben. Und auch wenn wir letztens mal ein Paper diskutiert haben welches ziemlich eindeutig manipulierte Daten enthielt sind die meisten Veröffentlichungen völlig in Ordnung. Aber auch hier gibt’s gerne mal Probleme mit dem Peer Review, dass da mal Paper durchgewunken werden weil der Reviewer die Person kennt oder, dass der Reviewer ein Paper ablehnt weil er es komplett missverstanden hat. Das sind aber zum Glück noch Ausnahmen. Andererseits sind unsere Felder ohnehin schon sehr weitläufig, sodass man sowieso kaum alles mitkriegen kann. Man kann ja schon nicht einmal mehr alle neuen Veröffentlichungen in seinem eigenen relevanten Bereich (in meinem Fall Kondensierte Materie)durchlesen, das sind halt ein paar Dutzend Paper auf Arxiv pro Woche so um den Dreh.
Sehr interessant, danke für den Link! Ich finde ja, dass 120 bzw. 85 gefälschte Paper bei vermutlich jährlich >100.000 Papern, welche die IEEE weltweit in der Informatik veröffentlicht, sogar ein verdammt geringer Anteil sind. Es wäre natürlich einmal interessant zu erfahren, wieviele Paper die IEEE in der Informatik wirklich jedes Jahr veröffentlicht. BTW: Im Zeitartikel wird zwar von Journals geschrieben, im eigentlichen Artikel http://link.springer.com/article/10.1007/s11192-012-0781-y wird dann aber mehr differenziert. Ich glaube, dass das Problem bei Konferenzen weitaus größer ist als bei den Journals der einigermaßen renommierten Verlage, wobei man auch hier differenzieren muss.
Ansonsten ist es halt immer das gleiche Spielchen, welches den meisten Informatikern auch bewusst ist: Der Verlag sagt als Qualitätsmerkmal erst einmal verdammt wenig aus, die Konferenz schon eher; letztendlich zeigt sich erst im Laufe der Zeit, ob ein Paper wirklich viel zitiert wird (und zwar über das Maß hinaus, welches man durch Eigenzitation und Zitationskartelle hinbekommt).
@heinz456: Die Frage ist nicht, ob 120 von 100.000 viel ist, denn hier wurden ja nur selektiv nach computergenerierten gesucht.
Die Frage ist eher, wieviele der gefälschten erkannt wurden. Wenn von 120 gefälschten 120 angenommen wurden, ist das die Katastrophe.
Die Fake-Veröffentlichungen wurden vermutlich mit SCIGen erstellt:
http://en.wikipedia.org/wiki/SCIgen
Hier zum Ausprobieren:
http://pdos.csail.mit.edu/scigen/
Viel interessanter für Hadmuts Blog ist der postmodern text Generator. Er erstellt postmoderne philosophische Texte. Die postmoderne Philosophie ist eine der Grundlagen des Genderismus.
http://www.elsewhere.org/pomo/
Ein paar mal aktualisieren, dann bekommt man auch feministische Texte.
Ich habe diese SCIgen jetzt mal ausprobiert, und ich kann nur davor warnen. Man darf keine Flüssigkeiten im Mund haben und schwächere Blasen sollten für den erwartungsgemäßen Lachkrampf auch eine Inkontinenzwindel tragen.
Das Ergebnis klingt so:
Our approach is related to research into 802.11 mesh networks, e-commerce, and agents. Without using introspective technology, it is hard to imagine that online algorithms and linked lists can interfere to fulfill this ambition. We had our solution in mind before I. Daubechies et al. published the recent little-known work on the simulation of lambda calculus. Instead of emulating virtual machines, we overcome this riddle simply by emulating virtual machines. Despite the fact that we have nothing against the related method by Smith et al., we do not believe that approach is applicable to random electrical engineering.
Und nein, das ist kein von mir rausgepickter besonders schlimmer Absatz. Jeder Absatz klingt dermaßen gaga. Es ist kaum vorstellbar, dass einem menschlichen Leser (selbst einem völlig fachfremden, der nur mit Allgemeinbildung ausgestattet ist) nicht irgend etwas daran auffällt.
Und so etwas getraut sich jemand einzureichen, weil er denkt, dass er damit durchkommt? Und so etwas drucken die auf Papier? Nicht bei der Titanic?
> für den erwartungsgemäßen Lachkrampf auch eine Inkontinenzwindel tragen.
Ich hab mal ein paar ausprobiert. Schlechter als das Gender-Geschwätz von den Unis ist das auch nicht. Das ist auch alles Gaga. Da fällt sowas gar nicht auf. Feministinnen arbeiten ähnlich, da wird auch ohne Sinn und Verstand eine Pampe aus Versatzstücken und üblichen Formulierungen zusammengerührt.
@Hadmut: Ja, Precision vs. Recall halt ;). Ich glaube dennoch nicht, dass SCIGen-Paper bei vernünftigen Konferenzen durchkommen, bei denen >3 Reviewer tätig sind. Ohne jetzt die Details der Auswertung zu kennen (Konferenznamen werden ja nicht genannt, wenn ich nix übersehen habe), tippe ich mal eher auf schlechte Konferenzen und Workshops, bei denen eh fast alles durchgewunken wird. Es kommt hier wirklich ganz konkret auf die Veranstaltung an.
Ein weitaus größeres Problem dürften eh Plagiate und Selbstplagiate sein. In meinen eigenen Reviews würde ich mal darauf tippen, dass 10% der Paper wenigstens teilweise Plagiate beinhalten – teilweise aus Unwissenheit bzw. einfach schlampigen wissenschaftlichen Arbeiten, aber in 4-5% der Fälle auch offensichtliche Plagiate. Die Autoren solcher Paper stammen übrigens vorwiegend aus Asien.
“Write-Only-Papers” – wie geil ist das denn… Kannte ich noch gar nicht 😉
@Werner: Dass das übliche Paper zumindest mehr Autoren als Leser hat, ist aber ein alter Hut.
@Fredi: “Physik erscheint mir immer noch ziemlich seriös”
Get this:
http://de.wikipedia.org/wiki/Jan_Hendrik_Sch%C3%B6n
BAAAM!
Und da gab es noch einige mehr…
@Bruce Lee’s Friseur: Wie gesagt, da gibt’s auch faule Eier. Im Großen und Ganzen kommt man in der Physik (wie auch bei Schön gesehen) aber mit sowas nicht wirklich weit.
Unwissenschaftlichkeit fällt da einfach viel schneller auf als in der Medizin oder Soziologie oder so.
Man sieht: nicht nur in den “Laberfächern” wird Unsinn produziert.
Das kann man auch umgekehrt sehen.
Geht man nämlich davon aus, dass nur in „Laberfächern” Unsinn produziert wird und unentdeckt bleibt, dann ist die Informatik zum Laberfach verkommen.
Informatik zum Laberfach verkommen
War das nicht schon immer eines? Computer sind ja am Ende auch nur E-Technik.
Dies Vorfaelle zeigen nicht, dass “die Informatik” (was soll das schon sein?) zum Laberfach verkommen ist, sondern einfach den Effekt der Kommerzialisierung und vielleicht auch (harmloser) ein Effekt der Internationalierung.
Die Faelle, die genannt wurden, sind in solchen Labergebieten wie security etc., und da ist zum einen viel Geld drin. Und gerade in China gibt’s ne Menge Leute, die nicht grundsaetzlich betruegerisch sind, sondern nur auesserst geschaeftig sind (rastlose Aktivitaet hat wohl einen grossen Stellenwert in China). Da werden dann viele Konferenzen organisiert, die einen gewissen soliden Kern haben (bekannte Leute werden eingeladen, und tragen auch vor), und dann aber auch einen ganz unkontrollierten (geschaeftigen) Halos, wo vielleicht(!) einfach wegen Sprachproblemen nicht mehr korrigiert wird. Halte ich fuer gut moeglich, dass die Pruefung von Nicht-Hauptartikeln von chinensichen Forschern und ihren Studenten vorgenommen werden, die das Englisch schon nicht verstehen, und dann aus Hoeflichkeit (Vorsichtigkeit) das dann mal akzeptieren.
Ich werde sehr haeufig eingeladen von derartigen Konferenzen in China (habe noch nie akzeptiert), und mein Eindruck ist, dass man hier vielleicht einfach das typische Qualitaetsproblem in China hat (fuer die “einfachen” Arbeiter ist Geschwindigkeit der Erledigung vordringlich)
Also vielleicht ist das noch nichteinmal ein Problem fuer security etc.
In der eher theoretischen Informatik kann ich versichern, dass solche Faelle wohl ausgeschlossen sind (ausser durch betruegerische Manipulationen an den Pruefern vorbei, von denen ich aber noch niemals was gehoert habe — steckt einfach zu wenig Geld drin): Die meisten Konferenzen benutzen z.B. EasyChair, und da sieht das gesamte Programmkommittee was abgeht (und die Leute gucken auch). Ich habe z.B. eine Konferenz organisiert und “gechairt”, und da gab’s auch ein paar offensichtlich gefaelschte Einreichungen, die werden aber natuerlich sofort abgeschoben (dies waren vielleicht Faelle, wo Nigerianer etc. auf ein Visum hofften).
Security, Visualisierung etc., das ist wohl was ganz anderes (sobald Firmen mitspielen, wird betrogen).
Die Diskussion ist zwar vorbei, aber der Vollständigkeit halber:
Die Welt, 02.03.13, 17.30 Uhr
… “Der Wissenschaftsverlag Springer Science+Business Media löscht aus seinen Archiven 16 völlig sinnfreie Artikel, die von einem Computerprogramm zusammengebastelt wurden. Die dort publizierten angeblichen Fachartikel von wissenschaftlichen Konferenzen würden “so schnell wie möglich” entfernt, teilte der Verlag mit.” …
War das nicht schon immer eines? Computer sind ja am Ende auch nur E-Technik.
Nein, Computer und EDV(“Faul, fauler, EDVler”)/IT sind Unterhaltungselektronik…
Schrott wird überall produziert:
„Was schert mich die Realität?“
http://www.achgut.com/dadgdx/index.php/dadgd/article/klopfzeichen_aus_der_welt_der_sozialwissenschaften_folge_32
“Dass Erkenntnisgewinn keineswegs immer das Hauptziel wissenschaftlicher Tätigkeit ist. Das ist auch legitim, denn man kann die Entwicklung einer Kultur der kunstvollen gelehrten Argumentation um ihrer selbst willen, durchaus als Wert an sich ansehen. Für denjenigen aber, der, wie ich, NUR den Erkenntnisgewinn als das Ziel seiner Forschertätigkeit ansieht und der sich letztlich NUR für die Realität interessiert, ist es wichtig, die Produkte der beiden Wissenschaftskulturen unterscheiden zu lernen.”
Weitere Artikel zu
“Klopfzeichen aus der Welt der Sozialwissenschaften”
http://www.achgut.com/dadgdx/index.php/search/results/46808c2aed800f2c010194bb3e2025ab/