Kurzfassung
Ein Team um Adrian Barnett von der Queensland University of Technology hat ein BERT-Sprachmodell darauf trainiert, textliche «Fingerabdrücke» bekannter «Paper Mills» – Firmen, die wissenschaftliche Artikel verkaufen oder fabrizieren – zu erkennen.
- Ein Team um Adrian Barnett von der Queensland University of Technology hat ein BERT-Sprachmodell darauf trainiert, textliche «Fingerabdrücke» bekannter «Paper Mills» – Firmen, die wissenschaftliche Artikel verkaufen oder fabrizieren – zu erkennen.
- Bei der Durchsuchung von 2,6 Millionen Krebsforschungsartikeln aus den Jahren 1999 bis 2024 wurden über 250'000 Studien mit Textmustern gefunden, die bekannten Paper-Mill-Produkten ähneln – das Modell erkannte verifizierte Fälle mit 91 Prozent Genauigkeit.
- Der Anteil solcher verdächtiger Artikel ist von rund 1 Prozent Anfang der 2000er-Jahre auf über 16 Prozent im Jahr 2022 gestiegen; die Studie ist im Fachjournal «BMJ» erschienen und belegt keine Fälschung im Einzelfall, sondern sprachliche Auffälligkeiten.
Was ist passiert?
Ein internationales Forschungsteam unter der Leitung von Adrian Barnett von der Queensland University of Technology hat ein Sprachmodell auf Basis von BERT darauf trainiert, wiederkehrende textliche «Fingerabdrücke» zu erkennen, die typisch für Produkte sogenannter «Paper Mills» sind – Unternehmen, die Autorenschaften verkaufen oder komplette, teils mit erfundenen Daten oder Bildern versehene wissenschaftliche Artikel anbieten. Das Modell wurde anschliessend auf 2,6 Millionen Krebsforschungsartikel angewendet, die zwischen 1999 und 2024 veröffentlicht wurden.
Das Ergebnis: Mehr als 250'000 Studien weisen Textmuster auf, die bekannten Paper-Mill-Produkten ähneln. Bei der Überprüfung anhand bereits bestätigter Fälle erkannte das Modell verdächtige Artikel mit einer Genauigkeit von 91 Prozent. Besonders auffällig ist der zeitliche Verlauf: Der Anteil potenziell problematischer Artikel stieg von rund 1 Prozent in den frühen 2000er-Jahren auf über 16 Prozent im Jahr 2022. Die Studie ist im renommierten Fachjournal «BMJ» erschienen.
Warum ist das wichtig?
Die Ergebnisse belegen nicht, dass die identifizierten Studien tatsächlich gefälscht sind – die Autorinnen und Autoren betonen ausdrücklich, dass es sich um sprachliche Auffälligkeiten handelt, die mit bekannten Paper-Mill-Produkten übereinstimmen, nicht um einen Fälschungsnachweis im Einzelfall. Dennoch zeichnet die Studie ein beunruhigendes Bild: Der stetig wachsende Anteil verdächtiger Texte deutet darauf hin, dass Qualitätskontrolle und Peer-Review mit der Flut an – teils KI-unterstützt erstellten – Fachartikeln nicht mehr Schritt halten.
Gleichzeitig zeigt die Studie, wie sich KI als zweischneidiges Schwert im Wissenschaftsbetrieb etabliert: Dieselbe Technologie, die Paper Mills zur massenhaften Produktion fragwürdiger Artikel nutzen, lässt sich auch einsetzen, um genau diese Produkte aufzuspüren. Für Fachzeitschriften und Forschungsinstitutionen wird automatisierte Textanalyse damit zunehmend zum notwendigen Bestandteil der Qualitätssicherung.
Was bedeutet das für die Schweiz?
Schweizer Universitätsspitäler, Hochschulen und die forschungsstarke Pharma- und Medtech-Industrie stützen sich bei klinischen und wissenschaftlichen Entscheidungen auf die internationale Krebsforschungsliteratur. Ein Werkzeug, das verdächtige Artikel systematisch markiert, könnte Schweizer Fachzeitschriften, Forschungsgruppen und Ethikkommissionen helfen, fragwürdige Quellen frühzeitig zu erkennen, statt sie ungeprüft in Übersichtsarbeiten oder Leitlinien zu übernehmen.
Mit einer Trefferquote von 91 Prozent bleibt allerdings eine relevante Fehlerquote bestehen – für Institutionen wie ETH Zürich, EPFL oder den Schweizerischen Nationalfonds stellt sich die Frage, wie automatisierte Verdachtsmeldungen sorgfältig geprüft werden können, ohne einzelne Forschende vorschnell zu belasten. Und da auch in der Schweiz KI zunehmend beim Verfassen von Fachartikeln hilft, dürfte die Unterscheidung zwischen legitimer KI-Unterstützung und fabrizierten Inhalten zu einer dauerhaften Aufgabe der Forschungsintegrität werden.
Häufige Fragen
Was ist die Kernaussage zu KI-Analyse findet Spuren mutmasslicher «Paper Mills» in über 250'000 Krebsstudien?
Ein Team um Adrian Barnett von der Queensland University of Technology hat ein BERT-Sprachmodell darauf trainiert, textliche «Fingerabdrücke» bekannter «Paper Mills» – Firmen, die wissenschaftliche Artikel verkaufen oder fabrizieren – zu erkennen.
Warum ist diese KI-Meldung für die Schweiz relevant?
Schweizer Hochschulen und die forschungsstarke Pharma- und Medtech-Industrie bauen auf der internationalen Krebsforschungsliteratur auf – ein Werkzeug wie dieses könnte Schweizer Fachzeitschriften und Institutionen helfen, verdächtige Einreichungen frühzeitig zu erkennen, bevor sie in klinische Entscheidungen einfliessen.
Welche Quelle nutzt KI News Schweiz für diese Einordnung?
ScienceDaily fasst die im «BMJ» veröffentlichte Studie eines Teams um Adrian Barnett (Queensland University of Technology) zusammen, das mit einem BERT-Modell mutmassliche «Paper-Mill»-Texte in der Krebsforschung aufspürte.