Constructing Judgements within Peer Review Processes. International Case Studies on Evaluation of Scientific Institutions

Projektbeschreibung

Die Einrichtungen der Wissenschaft werden zunehmend evaluiert und Intensität und Aufwand der Bewertungsverfahren nehmen zu. Damit bekommt auch die alte Debatte um angemessene Verfahren und Kriterien der Qualitätsbewertung eine neue Aktualität. Während Evaluationen aus wissenschaftspolitischer Sicht mit dem Anspruch verbunden werden, eine Art Benchmarking von Wissenschaft einzuführen, bestehen aus wissenschaftstheoretischer Sicht weiterhin große Zweifel, ob sich für die Wissenschaft überhaupt universale Qualitätskriterien und Leistungsindikatoren bestimmen lassen. Gleichwohl können Ergebnisse von Evaluationen als Spiegelbild dessen gesehen werden, was gemeinhin als „gute Wissenschaft“ angenommen wird.

Doch was geschieht eigentlich kognitiv und kommunikativ, wenn wissenschaftliche Leistungen bewertet werden? Woran machen die GutachterInnen ihr Werturteil fest? Wie und woran erkennen sie, ob ein Gegenstand nach ihrer Einschätzung gut ist oder nicht? Von welchen normativen Grundorientierungen lassen sie sich dabei leiten? Wie stark ist das jeweils eigene Urteil von dem der anderen GutachterInnen abhängig? Wie verändert es sich möglicherweise im Laufe eines Verfahrens? Und schließlich: Wie kommen Sie am Ende zu einem Konsens?

Das Projekt „Urteilsbildung im Peer Review“ möchte diesen Fragen nachgehen. Gegenstand des Projektes sind Verfahren zur Bewertung von wissenschaftlichen Einrichtungen in drei Ländern, Deutschland, Großbritannien und Holland. Kernstück dieser Verfahren ist das Peer Review, also die Bewertung von wissenschaftlichen Leistungen durch Mitglieder der Fachgemeinschaft, das allerdings von unterschiedlichen Verfahrensregeln umrahmt wird. Mit dem Urteil der Fachgemeinschaft sind – wiederum international unterschiedlich stringent – unmittelbare Konsequenzen für die Zukunft der wissenschaftlichen Einrichtung verbunden. Das Projekt verfolgt sowohl ein wissenschaftssoziologisches als auch ein wissenschaftspolitisches Anliegen. Wissenschaftssoziologisch soll rekonstruiert werden, w

sich die individuelle und kollektive Urteilsbildung vollzieht und welches Wissenschaftsverständnis diesem Prozess zugrunde liegt. Aus wissenschaftspolitischer Perspektive interessiert uns, ob und inwiefern sich die Prozesse der Urteilsbildung je nach Verfahrensregel unterscheiden, welche Regeln welches Gewicht haben und damit auch, welche Gestaltungsoptionen jeweils innerhalb des Instrumentes zur Verfügung stehen. In Deutschland werden schwerpunktmäßig die Evaluationen in Instituten der Leibniz- Gemeinschaft untersucht. Die Leibniz-Gemeinschaft hat bereits seit Jahren elaborierte Evaluationsverfahren zur Bewertung von Wissenschaft etabliert, die auf der Institutsebene ansetzen. Zudem sind in der Leibniz-Gemeinschaft Institute unterschiedlicher Disziplinen, Organisationsgrößen und -formen zusammengeschlossen, so dass an diesem Beispiel die These zur Kontextabhängigkeit von Bewertungskriterien überprüft werden kann. In den Niederlanden ist die Untersuchung von Evaluationsverfahren intendiert, die von der VSNU (Vereniging van Universiteiten), der NWO (Nederlandse Organisatie voor Wetenschappelijk) und der KNAW (Koniklijke Nederlandse Akademie van Wetenschappen) durchgeführt werden. Diese drei Organisationen haben im Jahre 2003 ein gemeinsames Protokoll zur Forschungsevaluierung verabschiedet, das mit den Verfahren der Leibniz-Gemeinschaft vergleichbar ist.
In Großbritannien ist die Analyse des Research Assessment Exercises (RAE) gewinnbringend.
Hier werden die Forschungsaktivitäten an Hochschulen von disziplinär organisierten
Expertengruppen evaluiert. Die Bewertungen der Expertengruppe werden hier in eine Formel zur Budgetvergabe integriert und die Ergebnisse in Form eines Universitätsrankings veröffentlicht.

Methode

Die Untersuchung ist methodisch mehrstufig aufgebaut.

I. Fallübergreifende Feldsondierung, bestehend aus:

1. Interviews mit erfahrenen Peers sowie zentralen Experten des jeweiligen Wissenschaftssystems.
2.  Analyse zentraler Dokumente zur Evaluation von Wissenschaft (z.B. in Deutschland
   „Empfehlungen des Wissenschaftsrates“, wissenschaftspolitische Stellungnahmen, Festreden u.ä.), die Aufschluss über zentrale Bewertungskriterien geben.
3. Analyse der Verfahrensrichtlinien für die in den Fallstudien zu untersuchenden Evaluationsverfahren.

II. Die eigentlichen Fallanalysen – hier das Beispiel Leibniz-Gemeinschaft

1. Zur Analyse der Verfahren ist die Untersuchung der Evaluationen verschiedener Institute geplant, die das disziplinäre Spektrum (natur-, sozialwissenschaftlich und multidisziplinär ausgerichtete Institute) möglichst gut abdecken.
2. Hinsichtlich der Evaluationsstandards soll das Sample einen kontrollierten Vergleich zwischen alten und neuen Richtlinien ermöglichen. Dazu wird eine ausreichende Anzahl an Verfahren in die Analyse einbezogen, die nach den neuen Evaluationsstandards durchgeführt werden.
   i. Die Analyse der einzelnen Evaluationsfälle gliedert sich methodisch in folgende Untersuchungsschritte: Dokumentenanalyse (u.a. Antworten des Instituts auf den Fragenkatalog der Leibniz-Gemeinschaft sowie Sachstands- und Bewertungsbericht). ii. Interviews mit Vertretern der Leibniz-Gemeinschaft zur Auswahl der Gutachter.
   iii. Interviews mit Vertretern des zu bewertenden Instituts vor und nach der Evaluation.
   iiv. Interviews mit einem Teil der am Verfahren beteiligten Gutachter (möglichst unmittelbar im Anschluss an die Evaluation).

Selbstverständlich werden alle im Rahmen der Studie erhaltenen Informationen vertraulich behandelt und die Projektergebnisse in anonymisierter Form veröffentlicht; Namen der Institute wie der befragten Personen werden geändert. Um Rückschlüsse auf spezifische Bewertungsverfahren zu verhindern, wird für die Fallauswahl ein längerer Zeitraum (2006- 2009) angegeben.