Projektevaluierung – FWF als Anwender von Evaluation
Evaluierung von Projekten ist das Rückgrat der Arbeit des FWF. Sie bildet die Basis der Qualitätssicherung in allen seinen Förderprogrammen. Seit Bestehen des FWF ist dafür „internationaler Peer-Review“ das Instrument der Wahl. Bei diesem Verfahren wird die Meinung von einschlägig ausgewiesenen ExpertInnen (fachlich den jeweiligen AntragstellerInnen nahestehende WissenschaftlerInnen oder „Peers“) eingeholt und zwar
- zu Förderanträgen (ex-ante-vor der Förderentscheidung)1,
- zu den Projektfortschritten (interim-Evaluierung als Qualitätssicherung während der Projektlaufzeit z.B. bei Großprojekten in den Schwerpunkt-Programmen und Doktoratsprogrammen) oder
- zu den Ergebnissen der Projekte (ex-post-nach dem Projektabschluss).
Der FWF verfügt über keinen festen „Bestand“ an GutachterInnen. Sie werden für jeden Projektantrag fachspezifisch ausgewählt. Internationalität ist der
Kernpunkt des FWF-Peer Review-Verfahrens: seit mehr als zehn Jahren kommen GutachterInnen ausschließlich aus dem Ausland, ein Drittel davon aus dem nicht-deutsch sprachigen Ausland und ein weiteres Drittel aus Übersee; zudem bemüht sich der FWF, zumindest 25% der Gutachten von Wissenschaftlerinnen einzuholen. Die GutachterInnenauswahl ist hoch effizient: etwa 40% aller angefragten ExpertInnen willigen ein, für den FWF zu gutachten. Die überwiegende Zahl der Gutachten wird auf schriftlichem Wege eingeholt, bei komplexen Schwerpunktprojekten oder im Rahmen der Exzellenzprogramme kommt auch Panelreview zum Einsatz, bei dem ExpertInnen mit den AntragstellerInnen im Rahmen von Hearings interagieren.
Bei allen Verfahrensschritten hat der FWF ein ausgefeiltes System zur Vermeidung von Befangenheiten und wechselseitiger Kontrolle („Mehraugenprinzip“) implementiert. Die ex-post Evaluierung von Projekten ist das jüngste Verfahren des FWF; sie wird flächendeckend seit 2003 eingesetzt und ist in mehrfacher Hinsicht bedeutend:
- Sie stellt ein wesentliches Element im Zusammenhang mit dem „Globalbudget“ für FWF geförderte Projekte dar. Es war dies einer der bedeutendsten Schritte in der Entwicklung der Verfahren des FWF; damit wurden Verwaltungskomplexität und „Bürokratie“ für die WissenschaftlerInnen bei der Projekt durchführung erheblich reduziert. „Globalbudget“ bedeutet in diesem Zusammenhang, daß die einem Projekt bewilligten Mittel von der Projektleitung so eingesetzt werden können, wie es im Hinblick auf einen optimalen Projektverlauf und bestmögliche Forschungsergebnisse am effizientesten ist, d.h., daß von der ursprünglichen Planung abgewichen werden kann, ohne daß jedes Mal Rücksprache mit dem FWF gehalten werden muß. Die „Philosophie“ des FWF im Hinblick auf Controlling und Qualitätssicherung der von ihm geförderten Projekte ist einfach und klar:
strenge Prüfung im Vorhinein, dann maximale Flexibilität für die WissenschaftlerInnen bei der Projektdurchführung, nach Projektabschluss wieder Prüfung der Ergebnisse durch internationale ExpertInnen. Diese ex-
post Evaluierung wird dann bei weiteren Förderentscheidungen berücksichtigt
- Die ex-post Evaluierung liefert Informationen zu Projektverlauf und –erfolg sowie für die Öffentlichkeitsarbeit des FWF. Eckdaten der Projektergebnisse werden in der Datenbank des FWF gespeichert. Erfasst werden wissenschaftliche Veröffentlichungen und Beiträge bei Fachtagungen, Karriereverläufe von Projektbeteiligten (insbesondere des wissenschaftlichen Nachwuchses), besondere Auszeichnungen und Preise im Zusammenhang mit dem Projekt sowie anwendungsorientierte Resultate wie Patentanmeldungen und Lizenzen, sowie Maßnahmen zur Wissenschaftskommunikation. Steigenden Wert legt der FWF hier auf die Nutzung von „Open Access“ zur Veröffentlichung wissenschaftlicher Ergebnisse.
- Alle diese Daten sind eine essentielle Grundlage für weitere Evaluierungen und die Darstellung des Impacts der Fördertätigkeit des FWF, sowohl im nationalen wie auch im internationalen Kontext.
1 Für Details siehe „Allgemeine Prinzipien des Begutachtungsverfahrens und Arbeitsweise des FWF“