Reproduzierbarkeit

In der Wirtschaft bezeichnet der Begriff Reproduzierbarkeit bzw. Wiederholbarkeit das Potenzial eines Geschäftsmodells, auf verschiedenen Absatzmärkten wiederholt zu werden. Durch diesen Faktor wird bestimmt, wie marktfähig und global konkurrenzfähig ein Produkt oder Unternehmen ist. Eng damit verbunden ist der Aspekt der Skalierbarkeit, also wie einfach es ist, ein Geschäftsmodell zu erweitern und zu vergrößern.

In der Wissenschaft besitzt die Reproduzierbarkeit oder auch Replizierbarkeit allgemein einen hohen Stellenwert. Sie bedeutet die Wiederholbarkeit von empirisch-wissenschaftlichen Forschungsergebnissen. Erst wenn ein Befund reproduzierbar ist und eine Replikationsstudie zu ähnlichen, wenn nicht gleichen Ergebnissen kommt, erlangt die Erst-Studie Glaubwürdigkeit.

In einer Replikations-Studie wird eine Beobachtungs-Studie, ein Experiment oder eine Messung unter gleichen Bedingungen wie die Erst-Studie wiederholt. Wenn die aus den erhaltenen Daten erzeugten Resultate zu gleichen Schlüssen führen respektive im Rahmen der zu erwartenden zufälligen Abweichungen mit denen der Erst-Studie übereinstimmen, ist die Replikation erfolgreich, und die Ergebnisse gelten als replizierbar.

Damit eine Replikations-Studie möglich ist, gehört eine ausreichende Protokollierung von experimentellem Aufbau und Versuchsdurchführung respektive dem Vorgehen zur Auswahl der Beobachtungs-Einheiten zur guten wissenschaftlichen Praxis.

In bodenbezogenen Fachgebieten ist die Reproduzierbarkeit vor allem für Gesteins- und Bodenproben wichtig. Wegen oft starker örtlicher Varianz der Bodenparameter muss bei der Wahl von Messpunkten besonders darauf geachtet werden, ob die zu nehmende Probe oder Bohrung auch für die Umgebung repräsentativ ist. Datensammlungen und Geoinformationssysteme sollten auf diese Bedingung hin gründlich analysiert werden, um falsche Schlüsse für Bau- und andere Projekte zu vermeiden. Auch die zeitliche Variabilität wegen Jahreszeit, Niederschlag oder Grundwasser ist zu beachten.

In der chemischen Analytik (bzw. analytischen Chemie) wird bei quantitativen Analysen von der Eurachem statt des Ausdrucks Präzision eine andere Nomenklatur empfohlen. So gibt es verschiedene Ausprägungen der Reproduzierbarkeit, die durch die Termini Vergleichspräzision, Laborpräzision und Wiederholpräzision beschrieben werden. Für alle drei ist genau festgelegt, unter welchen Bedingungen ein Experiment wiederholt werden muss, um die jeweilige Veränderung der Ergebnisse zu messen.

Die International Union of Pure and Applied Chemistry definiert „reproducibility“:

In der Psychologie entwickelte sich aufgrund breiter kritischer Diskussionen ein zunehmendes fachliches Interesse an Replikationen, das in den letzten Jahren zu mehreren großen Replikations-Serien geführt hat^[2][3][4].

In den Kunst- und Kulturwissenschaften bezeichnet Reproduzierbarkeit die Möglichkeit, ein Kunstobjekt (oder allgemeiner ein Produkt) manuell oder technisch zu kopieren, aufzuzeichnen, abzubilden oder zu vervielfältigen, bzw. es von vornherein als Serie herzustellen (s. Serienfertigung). In dieser Bedeutung wurde der Ausdruck insbesondere von Walter Benjamin in seinem Aufsatz Das Kunstwerk im Zeitalter seiner technischen Reproduzierbarkeit (1935/36) thematisiert. Der Ausdruck „Reproduzierbarkeit“ ist eng verbunden mit den Begriffspaaren Original und Kopie, Original und Fälschung sowie Unikat und Serienprodukt.

Reproduzierbarkeit ist nicht bloß ein technisches Problem, sondern auch ein Problem der Legitimität (Urheberrecht). Darf die Nachahmung überhaupt geschehen, und darf sie dem Original ebenbürtig sein? Allgemein gesagt: Wenn Schrift die Stimme eines Autors festhalten soll, dann ist jedes Lesen dieser Schrift nur ein Ersatz für diese Stimme. Wenn aber die Stimme des Autors als Modell für beliebige Leser betrachtet wird, dann ist jedes Lesen ein Original. Dies gilt seit dem 18. Jahrhundert für Musik und Theater, wo jede Reproduktion ein Original ist, während die Reproduktion eines Unikats der Bildenden Kunst bis heute bloß einen Ersatz oder eine Fälschung darstellt. Bei signierten Kunstdrucken dagegen wird eine Zahl von Reproduktionen handschriftlich autorisiert.

In der Technik ist die Reproduzierbarkeit eine wesentliche Hilfe für die Beseitigung von Programmierfehlern, z. B. bei Software, oder Konstruktionsfehlern, z. B. bei Elektrogeräten. Man versucht dabei die Abläufe, die zu einem Fehler geführt haben, so exakt wie möglich nachzuzeichnen, sodass im Versuch dieser Fehler wieder entsteht und damit das Problem eingegrenzt werden kann. Bei Softwareprojekten hilft dies beim späteren „Debuggen“ und Entfernen des Fehlers.

Im Maschinenbau bedeutet Reproduzierbarkeit das Wiederherstellen eines Werkstücks innerhalb seiner Toleranzen und seiner spezifischen Eigenschaft.

Durch die freie Veröffentlichung der technischen Dokumentation ermöglicht sogenannte Open Hardware, die Reproduzierbarkeit technischer Geräte zu steigern und beispielsweise die Reparatur und Weiterentwicklung sicherzustellen.^[5]

Bei Open-Source-Software ist das reproduzierbare bzw. deterministische Kompilieren des Quelltextes zur fertigen Binärdatei eine Methode, um eine vollständige Vertrauenskette (engl. chain of trust) herzustellen und so beweisen zu können, dass das erstellte Kompilat aus dem veröffentlichten Quellcode erzeugt wurde und nicht zwischendurch manipuliert wurde, um beispielsweise Hintertüren hinzuzufügen.

Durch eine konstante Kompilierumgebung bzw. -tools wird dabei sichergestellt, dass jeder, der den Quelltext korrekt kompiliert, eine bitgenau gleiche Binärdatei erhält. Die entstandene Binärdatei ist damit ein reproduzierbares Endprodukt (engl. reproducible build) und kann von jedem auf gleiche Art erstellt und leicht verglichen werden.^[6]

Die Wiederholbarkeit von Untersuchungsergebnissen ist eine grundsätzliche Anforderung an wissenschaftliche Arbeit. Außerdem besteht ein öffentliches Interesse, dass Forschungsergebnisse gesichert, nicht-reproduzierbare Forschungsergebnisse erkannt und absichtliche Fälschungen von Ergebnissen aufgedeckt werden. In den Medien haben erwiesene Fälschungen, wie sie aus verschiedenen Disziplinen bekannt wurden, Aufsehen erregt. Das Science and Technology Policy Office in Washington nahm anlässlich einer breiten Initiative Strategy for American Innovation im Jahr 2014 auch das Thema Reproduzierbarkeit auf: „Given recent evidence of the irreproducibility of a surprising number of published scientific findings, how can the Federal Government leverage its role as a significant funder of scientific research to most effectively address the problem?“^[7]

Mit der vermehrten Anwendung maschinellen Lernens und der theoretisch laientauglichen Erstellung synthetischer Daten durch Bild- und Textgeneratoren geht in Teilen der Naturwissenschaften die Sorge einher, die Anwendung künstlicher Intelligenz könnte zu einer neuen Reproduzierbarkeitskrise in den Wissenschaften führen. Dies könne bei mangelnder Fachkenntnis in der Dateninterpretation^[8] oder der Verschlechterung von Datensätzen und Modellen der Fall (model collapse)^[9][10] werden.

• Jim Giles: The trouble with replication. In: Nature. Vol. 442, Issue 7101, 2006, S. 344–347.
• Yuri G. Pavlov et al.: #EEGManyLabs: Investigating the replicability of influential EEG experiments. In: Cortex. 2021, doi:10.1016/j.cortex.2021.03.013.

1. ↑ Eintrag zu reproducibility. In: IUPAC (Hrsg.): Compendium of Chemical Terminology. The “Gold Book”. doi:10.1351/goldbook.R05305 – Version: 2.3.3.
2. ↑ Psychologische Rundschau: Vol 69, No 1. Abgerufen am 2. September 2021. 
3. ↑ Richard A. Klein, Kate Ratliff, Michelangelo Vianello, Jr Reginald B. Adams, Štěpán Bahník: Investigating Variation in Replicability: A “Many Labs” Replication Project. 14. Juni 2013 (osf.io [abgerufen am 14. Mai 2022]). 
4. ↑ Open Science Collaboration: Estimating the reproducibility of psychological science. In: Science. Band 349, Nr. 6251, 28. August 2015, ISSN 0036-8075, S. aac4716, doi:10.1126/science.aac4716 (science.org [abgerufen am 14. Mai 2022]). 
5. ↑ Richard W. Bowman: Improving instrument reproducibility with open source hardware. In: Nature Reviews Methods Primers. Band 3, Nr. 1, 6. April 2023, ISSN 2662-8449, doi:10.1038/s43586-023-00218-x (nature.com [abgerufen am 11. Dezember 2023]). 
6. ↑ reproducible-builds.org. Abgerufen am 30. Oktober 2018. 
7. ↑ federalregister.gov
8. ↑ Philip Ball: Is AI leading to a reproducibility crisis in science? In: Nature. Band 624, Nr. 7990, 7. Dezember 2023, ISSN 0028-0836, S. 22–25, doi:10.1038/d41586-023-03817-6 (nature.com [abgerufen am 11. Dezember 2023]). 
9. ↑ Ilia Shumailov, Zakhar Shumaylov, Yiren Zhao, Yarin Gal, Nicolas Papernot, Ross Anderson: The Curse of Recursion: Training on Generated Data Makes Models Forget. 2023, doi:10.48550/ARXIV.2305.17493, arxiv:2305.17493v2. 
10. ↑ Ilia Shumailov, Zakhar Shumaylov, Yiren Zhao, Nicolas Papernot, Ross Anderson, Yarin Gal: AI models collapse when trained on recursively generated data. In: Nature. Band 631, Nr. 8022, 25. Juli 2024, ISSN 0028-0836, S. 755–759, doi:10.1038/s41586-024-07566-y, PMID 39048682, PMC 11269175 (freier Volltext) – (nature.com [abgerufen am 27. Juli 2024]).