Ein Forscher nennt das System „Bullshit“ – und meint es genau so
Der Mathematiker Bastian Rieck (Universität Freiburg/Schweiz) wirft der Machine-Learning-Forschung vor, an ihren eigenen Anreizen zu ersticken. In seinem Essay mit dem Titel „BS“ (engl. Abkürzung für „Bullshit“) kritisiert er:
- Zu viele Veröffentlichungen, die niemand braucht.
- Kleine Verbesserungen werden als Durchbrüche verkauft.
- Prüfverfahren (Peer Review) sind überlastet – Gutachter haben oft zu wenig Zeit oder Fachkenntnis.
Das Problem in Zahlen:
Zur Konferenz NeurIPS wurden zuletzt über 12.000 Arbeiten eingereicht – doppelt so viele wie vor fünf Jahren. Das System kann diese Menge nicht mehr qualitativ prüfen.
Die Benchmark-Falle:
Ein Benchmark ist ein Test, um Methoden zu vergleichen. Wenn Forscher aber nur darauf trainieren, im Benchmark gut abzuschneiden, verlieren die Tests ihre Aussagekraft. Rieck beobachtet, dass selbst winzige Verbesserungen auf schwachen Datensätzen als Erfolg publiziert werden – obwohl die Schwankungen von Durchlauf zu Durchlauf oft größer sind als der behauptete Fortschritt.
Warum machen das alle?
Weil Universitäten, Fördergeber und Konferenzen die Anzahl der Publikationen belohnen – nicht deren Qualität. Nachwuchsforschende brauchen viele Papers für eine Stelle. Wer weniger veröffentlicht, fällt durch Raster.
Was Rieck vorschlägt:
- Langsamere, gründlichere Begutachtung.
- Mehr Wiederholungsstudien (Reproduktionen).
- Negative Ergebnisse ebenfalls veröffentlichen.
- Weniger, dafür durchdachtere Arbeiten.
Wird sich etwas ändern?
Es gibt erste Initiativen wie die „Reproducibility Challenge“. Aber solange alle vom schnellen Publizieren profitieren – Forschende, Verlage, Konferenzveranstalter –, bleibt der Anreiz zum Weiter so hoch. Riecks Essay ändert daran vermutlich wenig. Er reiht sich aber in eine wachsende Zahl kritischer Stimmen ein.
Zusammengefasst:
Das System der KI-Forschung produziert immer mehr Papers, aber nicht unbedingt mehr echten Erkenntnisgewinn. Das Problem ist nicht Betrug, sondern eine verzerrte Belohnungsstruktur.
