Heise Online hat heute einen Beitrag darüber veröffentlicht, wie man mit chatGPT im Hui eine „wissenschaftliche“ Studie erstellen – oder besser gesagt komplett faken – kann.
Leider fielen die so schön erfundenen „Studiendaten“ dadurch auf, dass sie
- zum Teil keinen Unterschied zwischen „vorher“ und „nachher“ aufzeigen konnten,
- auffällig waren, weil bestimmte Zahlen unterdurchschnittlich häufig vorkamen
- und zum Teil die Vornamen nicht zum angegebenen Geschlecht passen wollten.
Dadurch, dass ihre Plausibilität mangelhaft war, fielen sie menschlichen Beurteilern sofort auf.
Und man beruhigt: solche „Studien“ kämen nie durch den vor der Veröffentlichung liegenden peer-review-process.
Und ausserdem seien gefälschte Studien ja schon vor der Erfindung der KI gang und gäbe gewesen.
In diesem Punkt muss ich den Autoren und Kommentatoren recht geben. Wir alle erinnern uns noch an die „Studien“ Heidelberger Krebsforscher, die zum Teil zu verheerenden Behandlungskonzepten bei realen Krebspatienten geführt haben.
Oder den berühmten amerikanischen „Schmerzpapst“, dessen erfundene Studien dadurch aufgefallen waren, dass die Ziffer 9 unterdurchschnittlich oft in den Rohdaten vorkam.
Oder den Mannheimer Anästhesieprofessor, dessen Fälschung von Studien zu Hydroxyäthylstärke als Volumenersatz aufflog, als er im peer-review-process die Einwilligungserklärungen seiner Studienpatienten nicht vorlegen konnte. Wieso das? Nun, es gab gar keine Studienpatienten!
All das beruhigt mich persönlich aber überhaupt nicht.
Denn die offenkundigen Mängel der durch chatGPT erfundenen Studien kann man sicher noch durch Verfeinern des Arbeitsauftrags „verbessern“ und so eine Enttarnung erschweren. Möglicherweise kommt man mit ein wenig mehr Aufwand dann auch durch den peer-review-process.