In der Wissenschaft bewegt man sich natürlich ständig in Gefilden, von denen man noch nicht viel weiß. Oft ist es sogar so, dass man nicht nur nicht die Antwort auf eine bestimmte Frage kennt – man weiß nicht mal so genau, wie man das Experiment überhaupt aufbauen muss, um sie beantworten zu können.
Da helfen Pilotexperimente. Man macht sein geplantes Experiment mit einer kleineren Stichprobe. Wenn irgendetwas nicht klappt, kann man das sofort verändern.
Für das richtige Experiment darf ich die meisten Bedingungen währenddessen nicht mehr verändern, weil das meine statistischen Annahmen ruiniert. Dann bekommt man schnell nur deswegen ein scheinbares Ergebnis heraus, weil man die ganze Zeit sein Experiment so lange verändert hat, „bis es klappt“. Ein berühmtes Beispiel ist ein Psychologe, der „gezeigt“ hat, dass seine Versuchspersonen in die Zukunft gucken konnten. Nicht sehr gut aber statistisch signifikant. Allein an der mathematischen Verteilung seiner Ergebnisse konnte aber später gezeigt werden, dass etwas mit seinen Messungen nicht in Ordnung war. Er hatte halt seinen Versuchsaufbau so lange optimiert, bis es geklappt hat. Und diese letzten Daten dann als Experiment ausgewertet. Richtig wäre gewesen, erst alles zu optimieren, bis es klappt. Und dann noch mal neue Versuchspersonen einzuladen, die in diesem optimierten Aufbau zeigen, ob sie wirklich in die Zukunft gucken können.
So erhalte ich als Wissenschaftler die Möglichkeit, flexibel darauf einzugehen, wenn etwas im echten Leben ganz anders läuft als geplant (wie eigentlich immer), und habe trotzdem ein sauberes Experiment, bei dem alle statistischen Annahmen stimmen.
Ich selbst mache auch gerade ein Pilotexperiment, deswegen komme ich drauf. Ich will testen, welche langfristigen Auswirkungen Jetlag bei Mäusen hat. Dafür muss ich aber sicherstellen, dass ich nicht die kurzfristigen Auswirkungen messe. Ich teste also erst mal in einem Pilotexperiment, wie lange die direkten Auswirkungen von Jetlag andauern. Dann weiß ich, an welchem Tag sie mit Sicherheit abgeklungen sind. Mit der Info kann ich mein eigentliches Experiment planen, bei dem ich immer nur dann messe, wenn kein direkter Jetlag mehr übrig ist.
Beim Reisexperiment hätte ich auch einen Probelauf als Pilotexperiment machen können. Zb gibt es einen Blogger, der auch das Reisexperiment mit vielen Gläsern gemacht hat. Leider ist bei ihm gar nix verschimmelt. Vermutlich hat er sterilen Reis in sterile Gläser gefüllt, also Reis eingeweckt. So ist der ewig haltbar. In einem Pilotexperiment mit wenigen Gläsern wäre ihm das aufgefallen, so dass er das große Experiment (mit der vielen Mühe) hätte besser machen können. Ich habe aber ohne Pilotexperiment direkt alles auf eine Karte gesetzt, weil ich mehrere Berichte online gefunden habe, bei denen man einige potentielle Fehler und Schwierigkeiten entdecken konnte. Ich gehe davon aus, dass ich damit alle abgedeckt habe. Wir werden sehen 