In Internetdiskussionen sieht man oft die Forderung, eine Behauptung mit Quellen zu belegen – “aber bitte peer-reviewte Artikel, keinen Humbug! ” Was ist das denn überhaupt, peer review?
Am Anfang steht das Bedürfnis, dass wissenschaftliche Veröffentlichungen eine Qualitätskontrolle durchlaufen sollen. Ein Auto muss ja auch erst durch den TÜV. Da sitzen Leute, die sich auskennen und wissen, wie man ein Auto überprüft. Soll nicht heißen, dass wir dem Hersteller Böses unterstellen wollen. Aber es ist halt immer besser, wenn noch mal jemand drüber guckt, der am Verkauf dieses Autos nichts verdient.
Warum haben wir dann keinen TÜV für wissenschaftliche Veröffentlichungen? Da müssten ja nur staatlich bezahlte (also unabhängige) Spezialisten drin sitzen, die sich perfekt mit dem jeweiligen Forschungsgebiet und den neuesten Methoden auskennen. Die könnten dann das Siegel “stichhaltige Forschungsergebnisse – staatlich geprüft” vergeben.
Das Problem ist, dass Forschung halt an den Grenzen unseres Wissens stattfindet. Es reicht nicht, das Fach studiert zu haben, um auf dem aktuellen Stand zu sein. Das Wissen erweitert sich täglich, genauso wie die Methoden und Analysen. Wenn Forschungspolitik richtig funktioniert, wird Wissenschaft von den besten Köpfen betrieben. Wenn da eine staatliche Stelle sagt: “Deine Ergebnisse sind nicht stichhaltig”, ist Ärger vorprogrammiert. Der Wissenschaftler könnte behaupten, dass der Forschungs-TÜV einfach nicht genug Ahnung von der Materie hätte, um die Genialität seiner Arbeit zu erkennen.
Der einfache Ausweg ist, dass keine staatliche Stelle die Forschung begutachtet, sondern andere Wissenschaftler. Die sind halt selbst Spezialisten (und hoffentlich die besten Köpfe) im selben Gebiet.
Wenn ich also eins meiner genialen Forschungsprojekte zusammenschreibe und zur Veröffentlichung bei einem wissenschaftlichen Journal einreiche, wird das Manuskript an andere Wissenschaftler geschickt. Meistens zwei, manchmal drei. Die lesen sich das durch und sagen, wo die Arbeit Stärken und Schwächen hat. Das Journal entscheidet nach diesem Ratschlag, ob es die Arbeit veröffentlicht oder nicht. Meistens heißt es “wir würden es vielleicht veröffentlichen, aber da musst du zuerst die angesprochenen Schwächen ausbügeln”. Das können kleine Formulierungen im Text sein, oder zusätzlich geforderte Experimente, die mich noch mal ein Jahr beschäftigen.
Damit ich die Gutachter nicht bestechen oder unter Druck setzen kann, sind sie anonym. Manche Journals veröffentlichen deren Namen mit dem Paper, aber immer erst, wenn alle Entscheidungen gefallen sind.
Solche Anfragen kriege ich auch immer mal wieder. “Lars du kennst dich doch aus mit Schlaf. Hier hat einer eine Arbeit eingereicht, in der es daunddarum geht. Könntest du die für uns begutachten? Für umsonst und ohne Ruhm und Ehre dafür zu kriegen? Bittebitte!”
Das Prinzip des peer reviews gibt es nicht nur bei Veröffentlichungen sondern auch in anderen Bereichen, etwa Vergabe von Fördermitteln. Da lädt dann zb die DFG Wissenschaftler ein, die Anträge von anderen Wissenschaftlern zu begutachten.
Die Vorteile von peer review sind eindeutig. Wer könnte die geniale Arbeit eines der besten Fachleute in einem Gebiet besser beurteilen als die anderen besten Fachleute auf dem Gebiet?
Es gibt aber auch eine Menge Nachteile. Z.B gibt es keine einheitlichen Kriterien. Dieselbe Arbeit kann von einem Gutachter durchgewinkt werden und vom anderen abgesägt. Außerdem hat jeder Experte sein eigenes Spezialgebiet. Viele Forschungsarbeiten sind heutzutage Feld-übergreifend. Ich habe zb schon Arbeiten zum Zusammenhang zwischen Schlaf und bestimmten Krankheiten gelesen, wo der Schlafteil große Lücken hatte. Da waren die Gutachter wohl Experten für die Krankheiten und hatten nicht so viel Ahnung von Schlaf.
Aber trotz dieser Nachteile ist der peer review die beste Möglichkeit zur wissenschaftlichen Qualitätskontrolle, die wir haben. Er ist kein Beweis dafür, dass die Arbeit hieb- und stichfest ist. Kritisch lesen muss man immer noch. Aber er ist eine sehr hilfreiche erste Instanz der Qualitätssicherung, durch die völliger Humbug ausgesiebt wird.
Welche Veröffentlichungen sind peer reviewed? Alle aus namhaften wissenschaftlichen Journals. Die findet man zb über die Suchmaschine Pubmed. Welche sind nicht peer reviewed? Alles andere – Meinungsartikel, Bücher, Youtubevideos, usw. Habt ihr schon mal eine total beeindruckende Behauptung in einem Buch oder Video gesehen, für die sich kein peer-reviewter Artikel finden lässt? Zb über Magnetmotoren oder Terpentin-Therapie? Dann liegt das daran, dass die Behauptung nur für Laien beeindruckend ist und jeder Wissenschaftler sofort sieht, wo die gravierenden Schwachstellen sind.
Edit: TÜV ist natürlich nicht staatlich sondern übernimmt auf privatwirtschaftlicher Basis öffentliche Aufgaben