© 2014 Deutscher Bundestag WD 8 - 3000 - 006/2014 Aspekte der Delphi-Methode Ausarbeitung Wissenschaftliche Dienste Ausarbeitungen und andere Informationsangebote der Wissenschaftlichen Dienste geben nicht die Auffassung des Deutschen Bundestages, eines seiner Organe oder der Bundestagsverwaltung wieder. Vielmehr liegen sie in der fachlichen Verantwortung der Verfasserinnen und Verfasser sowie der Fachbereichsleitung. Der Deutsche Bundestag behält sich die Rechte der Veröffentlichung und Verbreitung vor. Beides bedarf der Zustimmung der Leitung der Abteilung W, Platz der Republik 1, 11011 Berlin. Wissenschaftliche Dienste Ausarbeitung WD 8 - 3000 - 006/2014 Seite 2 Aspekte der Delphi-Methode Aktenzeichen: WD 8 - 3000 - 006/2014 Abschluss der Arbeit: 06.03.2014 Fachbereich: WD 8: Umwelt, Naturschutz, Reaktorsicherheit, Bildung und Forschung Wissenschaftliche Dienste Ausarbeitung WD 8 - 3000 - 006/2014 Seite 3 Inhaltsverzeichnis 1. Einleitung 4 2. Grundzüge der Delphi-Methode 4 3. Weitere Methoden: „Cooke“, „Google Recherchen“ und „Hybrid-Delphi“ 9 4. Möglichkeiten und Grenzen der Delphi-Methode 12 5. Literatur- und Quellenverzeichnis 14 Wissenschaftliche Dienste Ausarbeitung WD 8 - 3000 - 006/2014 Seite 4 1. Einleitung Die sog. „Delphi“-Methode ist ein spezifisches Prognoseverfahren, das in den empirischen Sozialwissenschaften vor allem als Vorhersage- und Planungsinstrument genutzt wird. Inzwischen werden Delphi-Befragungen in vielen Gesellschaftsbereichen eingesetzt, insbesondere in Wissenschaft , Wirtschaft und zunehmend auch im politischen Raum. Möglichkeiten und Grenzen dieser Methode werden fachlich z.T. kontrovers diskutiert. Das gilt auch für die Frage, ob Delphi neben der etablierten Funktion als zukunftsorientiertes Prognoseinstrument ebenfalls für Gegenwartsanalysen , wie z.B. die Untersuchung von komplexen gesellschaftlichen Sachverhalten genutzt werden kann. Im Auftrag wird die weitergehende Frage aufgeworfen, ob die Delphi-Methode ebenso für die retrospektive Evaluation von politischem Handeln oder die Wirksamkeit von Gesetzen verwendet werden kann. 2. Grundzüge der Delphi-Methode In einer einschlägigen Dissertation von Jürgen Kuhn wird die Delphi-Methode folgendermaßen charakterisiert: - „Es handelt sich um eine Befragung von geeigneten ‚Experten‘. - Die Befragung findet in mehreren Runden statt. - Den Experten wird vor jeder Befragungsrunde, die auf die erste Runde folgt, mitgeteilt, welche Auffassungen in der vorigen Runde von den anderen Experten vertreten wurden. - Die Information zu den Auffassungen erfolgt dabei in anonymisierter Form, d.h. den Experten wird nicht bekannt gegeben, welcher Experte in der vorigen Runde welche Auffassung vertreten hat. - Die Befragungsrunden geben den Experten die Gelegenheit, ihre Meinungen vor dem Hintergrund anderer Auffassungen zu reflektieren und zu revidieren. Durch die Anonymität werden Unterordnungen unter ’renommierte Experten’ o.a. Effekte vermieden.“ (2003: 64f.) Kuhn weist zugleich auf die möglichen Schwachstellen dieser Verfahrensweise hin: - „Unsicherheiten bestehen zu jedem angeführten Charakteristikum. Folgende Fragen müssen bei der Durchführung einer Delphi-Studie u.a. beantwortet werden: - Was zeichnet einen geeigneten Experten aus? - Wer beurteilt den Expertenstatus und die Eignung? - Wie viele Experten müssen bzw. sollen an der Studie teilnehmen, um aussagefähige Ergebnisse zu erhalten? - Wie viele Runden müssen/sollen durchgeführt werden, um aussagefähige Ergebnisse zu erhalten ? - Wie viel Anonymität ist notwendig und (insbesondere wenn sich die Experten kennen) wie wird die Anonymität sichergestellt?“ (2003: 65) Zur Frage der Anwendbarkeit hält der Verfasser fest: „Die Delphi-Methode kann nicht nur im Rahmen der Generierung von Prognosen eingesetzt werden . In der Literatur wird darauf hingewiesen, dass die Generierung von Prognosen zwar der häufigste Anwendungsfall der Delphi-Methode ist, dass es daneben aber ein weites Feld anderer Anwendungsmöglichkeiten gibt. Beispiele sind die Evaluierung der Signifikanz historischer Er- Wissenschaftliche Dienste Ausarbeitung WD 8 - 3000 - 006/2014 Seite 5 eignisse, die Planung von Bauvorhaben sowie die Allokation von Budgets.“(Kuhn, Jürgen 2004: 65) Eine detaillierte Beschreibung der Verfahrensweise bei der Anwendung von Delphi liefert Walter Geiger: „Die klassische Variante der Methode dient der Konsensfindung unter einer repräsentativ für das Thema ausgewählten ExpertInnenrunde, wobei anonymisiert in mindestens 2 Runden über Feedbackschleifen und Fragebogengestaltung durch ein Moderatorenteam ein Konsens nach exakt festgelegten Kriterien zu erreichen versucht wird. Im einzelnen sieht dieser Ablauf folgendermaßen aus: Festlegung des Untersuchungsgegenstandes; Festlegung der erforderlichen Expertise; Auswahl der ExpertInnen; Festlegung der Kriterien, ab wann Stabilität erreicht ist; Erarbeitung des 1. Fragebogens (mit Pilotstudie testen); Analyse des 1. Fragebogens: Bestimmung, ob Stabilität unter den ExpertInnen erreicht ist; Einbau der Antworten in (den) 2. Fragebogen; Analyse des 2. Fragebogens; Wenn Konsens erreicht wird, Produktion eines Endberichts und Abschlussmeeting; Der Prozess wird so lange durchgeführt, bis Konsens erreicht ist. Die wichtigsten Charakteristika dieses Prozesses sind: Anonymität Iteration Kontrolliertes Feedback Statistische Gruppenantwort (Mittelwert, Median) statt Einzelexpertisen Stabilisierung der Antworten von ExpertInnen innerhalb eines Fachgebiets.“ (Geiger, Walter 2009: 1f.) Geiger stellt wesentliche Vorzüge und Nachteile der Delphi-Methode anschaulich gegenüber. Als Vorteile hebt er hervor: „Keine Beeinflussung durch andere Personen (Trittbrettfahrereffekt) Keine Dominanz durch Einzelpersonen Verstärkte Beschäftigung mit dem Thema durch Wiederholungen Flexibilität Einfache Durchführung Gruppenresultat“ (Ebenda: 1) Als Nachteile nennt er: „ExpertInnenauswahl nicht zufällig, Umfang meist klein (typischerweise 10-30 Personen aber auch bis zu 500) Gefahr der subjektiven Beeinflussung bei der Auswahl Wissenschaftliche Dienste Ausarbeitung WD 8 - 3000 - 006/2014 Seite 6 Aussagen über statistische Signifikanz nicht möglich Wiederholbarkeit fraglich, da jede ExpertInnenrunde ein anderes Szenario (darstellt) Zeitaufwand für die TeilnehmerInnen Hohe Drop-Out-Rate“ (Ebenda: 1) Bei der Beschreibung der Einsatzmöglichkeiten der Delphi-Methode wird von Geiger1 vor allem auf die zukunftsgerichtete Perspektive verwiesen: „Die Delphi-Methode wird überall dort eingesetzt, wo Voraussagen über zukünftige Entwicklungen getroffen werden sollen, ohne dass ausreichende Daten für quantitative Modelle oder Szenarien vorliegen. Die Methode selbst wird nicht so sehr im firmeninternen Bereich angewendet alsdann , wenn es um das Abschätzen von wirtschaftlichen, gesellschaftlichen oder technologischen Entwicklungen geht. Ihr Einsatzgebiet ist also nicht auf das Wissensmanagement beschränkt. (…) (Die) Fragestellung muss zukunftsorientiert sein, Vorhersagen und Trends eher als Status Quo- Analyse.“ (Ebenda: 3) Michael Häder, Lehrstuhlinhaber für Methoden der Empirischen Sozialforschung an der TU Dresden, hat sich in zahlreichen Publikationen intensiv mit den Möglichkeiten und Grenzen der Delphi-Methode2, ihren theoretischen Grundlagen und ihrer praktischen Anwendung auseinandergesetzt . In einem Überblicksaufsatz beschreibt er die Methode folgendermaßen: „Die Delphi-Methode lässt sich als stark strukturierter Gruppenkommunikationsprozess charakterisieren , in dessen Verlauf Sachverhalte, über die naturgemäß unsicheres und unvollständiges Wissen existiert, von Experten beurteilt werden (…). Die Grundidee von Delphi besteht darin, in mehreren Wellen Expertenmeinungen zur Problemlösung zu nutzen und dabei ein anonymes Feed-back einzusetzen. Das klassische Delphi-Design besteht aus folgenden Schritten: 1. Die Operationalisierung der Fragestellung. Es geht dabei darum, die abhängige Variable zu bestimmen. 2. Dem schließt sich die Ausarbeitung eines standardisierten Frageprogramms für eine zumeist postalische oder über das Internet vermittelte Erhebung an. 3. Dieses Instrument dient dann der anonymen Befragung einer Expertengruppe (erste Welle). 4. Nachdem die Befragungsergebnisse in Form einer statistischen Gruppenantwort aufbereitet wurden, kommt es zur anonymisierten Rückmeldung dieser Ergebnisse an die Teilnehmer der Befragung. 5. Schließlich wird vor diesem Hintergrund die Befragung mit einem weitgehend identischen Instrument wiederholt.“ (Häder 2010: 353f.) 1 Vgl. auch. ders., Wissenserwerb und Wissenstransfer in der Umwelttechnologie aus der Sicht der WissensarbeiterInnen - Die Bedeutung von kollaborativen Strukturen und Werkzeug (Eisenstadt 2009) 2 Vgl. zuletzt: Häder, Michael, Delphi-Befragungen. Ein Handbuch, Wiesbaden 2014. Wissenschaftliche Dienste Ausarbeitung WD 8 - 3000 - 006/2014 Seite 7 Häder stellt fest: „Neben diesem Standardvorgehen existiert eine Reihe von Varianten, die für eine gewisse Vielfalt bei der Benutzung des Ansatzes sorgen. So bestehen unterschiedliche Ansichten über die notwendige Zahl und die Art und Weise der Auswahl der Experten. Es gibt unterschiedliche Auslegungen der erforderlichen Anzahl an Wellen, auch wird das Feedback unterschiedlich gestaltet. Teilweise werden bei den Experten Self-Ratings über die eigene Kompetenz erfragt und es ist ein relativ beliebiger Einsatz unterschiedlicher Aufgabentypen bei der Befragung zu beobachten. Schließlich bestehen unterschiedliche Ansichten über das Abbruchkriterium von Delphi-Befragungen. Dies kann ein Konsens unter den Teilnehmern oder die Stabilität der erhaltenen Antworten sein.“ (Ebenda: 354) Wie Häder näher erläutert, lassen sich vier wesentliche Varianten unterscheiden: „Typ 1: Delphi-Befragungen zur Ideenaggregation Hier handelt es sich um einen ausschließlich qualitativen Ansatz. Er zeichnet sich durch einen Verzicht auf die quantifizierenden Runden aus. Die Teilnehmer werden lediglich mit einer Problemstellung konfrontiert und danach dazu aufgefordert, sich in Form eines Aufsatzes hierzu zu äußern. Wie bei qualitativen Befragungen üblich, wird auf die Vorgabe von vorformulierten Antwortkategorien verzichtet. Für die Rückmeldungen an die Teilnehmer werden diese Argumente nur grob aufbereitet. Danach wird die qualitative Befragung wiederholt und weitere Argumente werden gesammelt. Dieser Ansatz ist umso erfolgreicher, je mehr Ideen für die Problemlösung hervorgebracht und qualifiziert werden. Dazu ist in der Regel (…) eine nur relativ geringe Anzahl an Teilnehmern erforderlich. In bestimmten Fällen muss aufgrund der von den Teilnehmern vorgebrachten individuellen Argumentationsketten auf die Anonymität der Beteiligten verzichtet werden. Typ 2: Delphi-Befragungen für eine möglichst exakte Bestimmung eines unsicheren Sachverhalts Dieser Typ dient dazu, ähnlich wie bei einer Wetterprognose, sich Klarheit über eine bestimmte noch unklare Angelegenheit zu schaffen. Das war das ursprüngliche Ziel des Delphi-Ansatzes. Zugrunde liegt dem eine bestimmte Idee des Forecastings: Die Zukunft soll mit solchen Studien determiniert und teilweise geplant werden. Hier muss auf das Problem der Self-Fulfilling- Prophecies und der Self-Destroying-Prophecies verwiesen werden. So kann die Wirkung einer (zunächst richtigen) Vorhersage dazu beitragen, dass die Wirklichkeit gezielt verändert und die Vorhersage dadurch widerlegt wird. Auch zunächst falsche Vorhersagen – zum Beispiel zur Verknappung einer Ware auf dem Markt – können dadurch bestätigt werden, dass sie entsprechendes Handeln – wie etwa vermehrte Einkäufe – auslösen.3 Typ 3: Delphi-Befragungen zur Ermittlung und Qualifikation der Ansichten von Experten über einen diffusen Sachverhalt 3 Häder merkt an: „Mit diesem Ansatz wurden beispielsweise in weit über 300 Sitzungen Preisprognosen in Obstanbaugebieten am Bodensee und an der Niederelbe (…) erstellt. Immerhin betrug der Notierungsfehler, der auf der Basis der Delphi-Befragungen festgestellt werden konnte, zum Ende der Saison lediglich - 0,9 Prozent. (2010: 355) Wissenschaftliche Dienste Ausarbeitung WD 8 - 3000 - 006/2014 Seite 8 Delphi-Befragungen können genutzt werden, um die Meinungen einer ganz bestimmten Personengruppe zu erheben, beispielsweise um gezielte Schlussfolgerungen über erforderliche Interventionen zu gewinnen, um auf ein absehbares Problem zu reagieren sowie zur Sensibilisierung gegenüber Fehlentwicklungen. Wichtig ist hier vor allem, dass die Ansichten aller Teilnehmer methodisch einwandfrei abgebildet werden. Dieses neue Konzept unterscheidet sich vom ‚Forecasting‘, das für die Nachkriegszeit typisch war, dadurch, dass es nicht versucht zu determinieren , wie die Zukunft werden wird, oder sie gar bis ins Detail zu planen, sondern vielmehr eine Kommunikation über die Zukunft sowie zu ihrer aktiven Gestaltung in den Vordergrund stellt (… ). Typ 4: Delphi-Befragungen zur Konsensbildung unter den Teilnehmern Auch zur Vorbereitung demokratischer Entscheidungen können Delphi-Befragungen genutzt werden. Hier kommuniziert ein bestimmter Teilnehmerkreis (zum Beispiel Interessengruppen) über einen möglichst genau vorstrukturierten Sachverhalt. Auf diese Weise soll ein kontinuierlicher Diskussionsprozess angestoßen werden, der schließlich zu Konsens führt. Dazu werden die Ansichten der Teilnehmer zu ganz bestimmten Fragestellungen wiederholt erfragt. Sie lösen weitergehende Denkprozesse aus und nicht zuletzt aufgrund einer Gruppennorm wird ein gewisser Konsens erarbeitet. Als Beispiel soll hier ein Projekt dienen, das Empfehlungen für konsensorientierte Politik im Bereich Mikroelektronik und Arbeitsmarkt erarbeitete (…). Das Ziel bestand darin , in Nordrhein-Westfalen möglichst vielen Bürgern der verschiedenen Sozialschichten zu erlauben , unterschiedlichste Gesellschaftsvisionen in Form normativer Szenarien zu entwickeln. Es waren begründete Maßnahmevorschläge an das politische System zu richten, Konsens über die wünschenswerten Grundzüge der zukünftigen Gesellschaft sollte so erzeugt werden.“ (Ebenda : 354ff.). In einer Tabelle werden von Häder die wichtigsten Charakteristika der vier Delphi-Typen übersichtlich dargestellt: (Ebenda: 356) Wissenschaftliche Dienste Ausarbeitung WD 8 - 3000 - 006/2014 Seite 9 Der Dresdner Sozialwissenschaftler resümiert:: „Delphi-Befragungen wurden zur Bearbeitung sehr unterschiedlicher inhaltlicher Fragestellungen benutzt. Prognosen für Entwicklungen auf verschiedenen Gebieten stellten die häufigsten Anwendungen dar. (…) Die Aufklärung retrospektiver Sachverhalte, die Ermittlung des State-of-the-Art, Evaluationsansätze sowie die Feststellung von Forschungsbedarf sind weitere Anliegen von Delphi-Befragungen (…). Klammer für die Nutzung der Delphi-Technik sind stets unsichere Sachverhalte, die mithilfe dieser Methode einer Aufklärung näher gebracht werden sollen.“ (2010: 356) In einer 2011 erschienenen Studie von Jan Gregersen wird ebenfalls betont, dass “Delphi (…) nicht nur ein prognostisches Instrument“ darstelle. (2011: 29). Ähnlich wie Häder benennt der Verfasser folgende weitere Anwendungsfelder: „(…) die Aggregation von Ideen, die Vorhersage oder genauere Bestimmung eines unsicheren Sachverhalts, die Ermittlung oder Qualifikation der Ansichten einer Expertengruppe und die Schaffung von Konsens unter den Beteiligten.“ (2011 : 29) Allerdings betont Gregersen, dass es bei Delphi „stets um Informationsgewinnung (gehe, um) Zukunft zu gestalten.“ (2011: 24) An späterer Stelle wird erläutert: „Es handelt sich meist um Fragen nach der Realisierung bestimmter Großvorhaben, der Entwicklung von Schlüsseltechnologien oder technologischer Durchbrüche. Der Zeithorizont reicht dabei bis zu 30 Jahre in die Zukunft.“ (Ebenda: 41). Die zitierten Darstellungen verdeutlichen - auch in ihren teilweise unterschiedlichen Gewichtungen - die gegenwärtige Forschungssicht: Delphi ist eine inzwischen weithin anerkannte sozialwissenschaftliche Methode, die in ihren verschiedenen Varianten überwiegend zu (zukunftsgerichteten ) Prognosezwecken verwendet wird. Allerdings sind auch gegenwartsbezogene Anwendungen wie Evaluationen denkbar, wobei diese im einzelnen genauer definiert werden müssen. 3. Weitere Methoden: „Cooke“, „Google Recherchen“ und „Hybrid-Delphi“ Im Auftrag wird nach weiteren Ansätzen als Alternativen bzw. Ergänzungen zur Delphi-Methode gefragt . Die sog. „Cooke-Methode“4 ist an Delphi angelehnt, stellt im Gegensatz zum anonymisierten Verfahren allerdings einen direkten Kontakt zwischen den teilnehmenden Experten her. Zudem wird der Stellenwert der einzelnen Prognosen differenziert. Häder steht „Cooke“ skeptisch gegenüber: „Die Cooke-Methode, die auf dem Delphi-Ansatz aufbaut, hat sich m. E. nicht bewährt. Die Experten können nur bedingt etwas zu ihrem tatsächlichen Sachverstand bzw. zur Sicherheit der von ihnen abgegebenen Urteile sagen. Das Problem stellen vor allem autoritäre Persönlichkeiten dar, denen solche Einschätzungen naturgemäß schwer fallen. Damit machen solche Gewichtungen das Gruppenurteil in der Regel nicht besser. Auch hierfür gibt es empirische Belege“ 5. (E-Mail vom 05. Februar 2014) In jüngerer Zeit wird verstärkt diskutiert, ob über das Internet bzw. Google gewonnene Daten für entsprechende Prognosen genutzt werden können. So machte ein Artikel in „Zeit-Online“ von 2011 darauf aufmerksam, dass mit Google-Daten möglicherweise Gegenwartsanalysen durchge- 4 Vgl. dazu: Aspinall, Willy, A route to more tractable expert advice In: Nature 2010 Vol. 462, 21. Jan 210 S. 294-295. 5 Vgl. Häder, M.: Subjektiv sicher und trotzdem falsch? Methodische Ergebnisse einer Delphi-Studie zur Zukunft des Mobilfunks. In: ZUMA-Nachrichten, 24 (2000) 46, S. 89 - 116. Wissenschaftliche Dienste Ausarbeitung WD 8 - 3000 - 006/2014 Seite 10 führt werden können. Allerdings geht es dabei um vergleichsweise klar umrissene Sachverhalte wie die Verbreitung von Grippe in bestimmten Regionen.6 Ähnlich wird nach einem Bericht von „Der Spiegel“ die Suchmaschine zur Ermittlung der Arbeitslosen-Entwicklung eingesetzt. 7 Ansatzpunkt ist auch hier die Nutzung des Internets: “Ausgerechnet auf dem Arbeitslosenmarkt prüft der Ökonom (Klaus Zimmermann) ein neues Prognose-Verfahren. Die Methode, die er anwendet, ist relativ einfach: Sie basiert auf dem Umstand , dass laut einer DIW-Erhebung fast 90 Prozent der Bevölkerung das Internet zur Jobsuche nutzen. Arbeitssuchende hinterlassen also Spuren im Netz - Suchbegriffe wie "Arbeitsamt" oder "Arbeitsagentur" etwa oder die Namen von Online-Jobbörsen à la Monster.de“ (Schultz, Stefan 2009). Nachfolgend wird das angewendete Verfahren genauer erläutert: „Das (Deutsche Institut für Wirtschaft) DIW nutzt (…) diese Suchbegriffe als statistische Variable. Es verwendet Ergebnisse aus Googles Zugriffsstatistik "Google-Insights" und setzt sie mit Hilfe eines statistischen Verfahrens in Bezug zur monatlichen Arbeitslosenquote. Bereits seit Herbst 2008 testet das Institut verschiedene statistische Variablen. Es hat die eigenen Ergebnisse rückwirkend bis 2004 mit Arbeitslosendaten abgeglichen - offenbar mit Erfolg. ‚Zu unserer Überraschung haben wir festgestellt, dass man mit wenigen Variablen-Gruppen die Entwicklung der Arbeitslosigkeit mit hoher Präzision erfassen kann‘, erläuterte Zimmermann (…). Das Institut könne inzwischen eine recht zuverlässige Prognose für die Arbeitslosigkeit des Folgemonats erstellen . In den meisten vergangenen Monaten habe das Google-Verfahren funktioniert. Nur im Februar 2009, als die Kurzarbeit exorbitant hoch angestiegen ist, sei das Ergebnis verfälscht gewesen“ (Ebenda). Nach Häder können Google-gestützte Recherchen die etablierten Prognoseinstrumente jedoch nicht ersetzen: “Google-Prognosen, also die Verwendung von Zugriffsdaten auf die Suchmaschine für Vorhersagen , sind ein sicherlich attraktives neues Verfahren. Es eignet sich offenbar gut für kurzfristige Prognosen, etwa zu einer aufziehenden Erkältungswelle oder zu volkswirtschaftlichen Entwicklungen . Als allgemeines Problemlösungsinstrument scheint es jedoch weniger brauchbar zu sein.“ (E-Mail vom 05. Februar 2014) In jüngerer Zeit ist wiederholt versucht worden, die Delphi-Methode mit anderen Instrumenten zu kombinieren. Ein Beispiel ist die 2011 publizierte Studie „Hybrid Delphi: A methodology to facilitate contribution from experts in professional contexts” (J. Landeta et al.). Im Rahmen dreier 6 Vgl. http://www.zeit.de/wirtschaft/2011-09/google-arbeitslosigkeit, vgl. auch: http://www.sueddeutsche.de/gesundheit/influenza-google-verbessert-vorhersage-von-grippewellen-1.1834801 7 Vgl. http://www.spiegel.de/wirtschaft/skurrile-methode-diw-googelt-sich-arbeitslosen-prognosen-zusammen-a- 630996.html Wissenschaftliche Dienste Ausarbeitung WD 8 - 3000 - 006/2014 Seite 11 Fragestellungen aus dem Wirtschaftsbereich8 wurden jeweils die - anonyme - Delphi-Methode in Verbindung mit “Focus Group“ (vorbereitete Diskussionen zwischen Experten unter Leitung eines Moderators) und „Nominal Group Technique“ (einer Kombination aus Delphi- und Focus Group-Methode) angewendet:9 Quelle: Landeta, Jon; Barrutia, Jon; Lertxundi, Aitziber (2011: 1632). Den Autoren zufolge hat die Kombination von “Focus Group, Nominal Group Technique and Delphi method” erste positive Ergebnisse erbracht: “It is suitable (…) for attracting, collecting and combining the knowledge of professional experts who voluntarily collaborate in an activity that for them is secondary. The experts, meanwhile, find it an interesting activity that binds them to no commitments, through which they learn, mix with others and test out their ideas, whilst contributing to investigations of social interest. This encourages them to be effective in their collaboration and to repeat the experience on other occa- 8 Es geht um die Verbesserung der Fortbildung des Managements, um die Evaluierung der Kompetenz künftiger Mitarbeiter und um die Charakteristika von Familienunternehmen. 9 Landeta, Jon; Barrutia, Jon; Lertxundi, Aitziber (2011). Hybrid Delphi: A methodology to facilitate contribution from experts in professional context. In: Technological Forecasting & Social Change 78 (2011) 1632. www.cgee.org.br/atividades/redirKori/7980 Wissenschaftliche Dienste Ausarbeitung WD 8 - 3000 - 006/2014 Seite 12 sions, as it proves to be engaging and useful. This is corroborated by the assessments of the experts who took part in the three applications carried out to date with this methodology. The best token of the satisfaction produced by their participation in an investigation employing this methodology is that they would all be willing to participate again in a similar dynamic”10 (Ebenda: 1637f.). Allerdings betonen die Autoren zugleich die Relativität dieses ersten Versuchs und unterstreichen die Notwendigkeit weiterer Forschungen: “It is necessary, although not easy in professional contexts, to compare, in homogeneous conditions , the quality and quantity of this methodology's contributions (ideas, opinions, proposals) with those obtained from other preceding techniques, especially with those captured separately using each of the techniques analyzed (FG, NGT and Delphi), or with paired combinations of techniques. Likewise, the outcomes of the Hybrid Delphi and those of other techniques will have to be compared in terms of experts’ perception of satisfaction with their participation, their acceptance of the outcomes and willingness to repeat their participation in similar investigations” (Ebenda: 1638). 4. Möglichkeiten und Grenzen der Delphi-Methode Häder hat in seiner bereits genannten Darstellung die möglichen Gegenstände von Delphi- Analysen folgendermaßen umrissen: „Klammer für die Nutzung der Delphi-Technik sind stets unsichere Sachverhalte, die mithilfe dieser Methode einer Aufklärung näher gebracht werden sollen.“ (2010: 356). Zu der im Auftrag angesprochenen Frage, ob die Delphi-Methode auch retrospektiv zur Evaluierung von politischen Handelns in einem bestimmten Feld verwendet werden könne (z.B. zur Beurteilung der Wirksamkeit eines vor längerem beschlossenen Gesetzes), hat sich im Rahmen der gesichteten Studien keine differenzierte Diskussion nachweisen lassen. Beim Einsatz von Delphi-Befragungen zu gegenwartsbezogenen Aspekten wird in der Regel von überschaubaren Fragestellungen und konkreten Faktenermittlungen ausgegangen, nicht von umfassenden Evaluierungen des politischen Handelns in einem bestimmten Gesellschaftsbereich. Insofern erscheint fachlich offen, ob die angedachte Delphi-Neuausrichtung geeignet sein kann. Offenbar handelt es sich bei dem ins Auge gefassten Vorgehen um eine Ausweitung des Anwendungsbereichs , die bislang noch wenig behandelt wird. Die konsultierten Fachwissenschaftler beurteilen diese Perspektive unterschiedlich. Für Häder ist es durchaus denkbar, „dass Experten retrospektiv eine (solche) Einschätzung vornehmen können .“ Als Argument verweist er auf die grundsätzliche Ausrichtung der Methode: „Auch hier handelt es sich um einen unklaren Sachverhalt, für dessen Strukturierung der Delphi-Ansatz geeignet sein sollte.“ Allerdings müssten vorab verschiedene methodische Voraussetzungen geklärt werden. Häder verweist zum einen auf die Notwendigkeit einer Klärung des Evaluationsbegriffs: „Für eine belastbare und methodisch saubere Evaluation bedarf es eines komplizierten Designs. Eine Vorabmessung sollte das Ausgangsniveau bestimmen. Danach sind zufällig eine Experimen- 10 Diese Argument ist allerdings kaum als hinreichender Beleg für eine erfolgreiche Anwendung von „Hybrid-Delphi“ anzusehen. Wissenschaftliche Dienste Ausarbeitung WD 8 - 3000 - 006/2014 Seite 13 tal- und eine Vergleichsgruppe zu bilden. Die Intervention (…) erfolgt dann nur in der Experimentalgruppe . Es schließt sich nach einiger Zeit die Wiederholung der Messung in beiden Gruppen an. Veränderungen, die nur in der Experimentalgruppe stattgefunden haben, werden schließlich auf die vorgenommene Intervention zurückgeführt und mit der beabsichtigten Wirkung verglichen.“ Mit Blick auf den konkreten Untersuchungsgegenstand hält der Sozialwissenschaftler zum anderen fest: „Wichtig wären konkrete Fragestellungen an die Experten. Was sollte beispielsweise mit dem Gesetz konkret erreicht werden? Welche Bedingungen im Umfeld haben die Wirkung des Gesetzes beeinflusst? Was wäre gewesen, wenn diese Intervention nicht erfolgt wäre? Waren die entstandenen Kosten angemessen? Gab es Alternativen?“ (E-Mails vom 12. Februar 2014 sowie vom 25. Februar 2014) Prof. Dr. Stefan Hornbostel, Leiter des Berliner Instituts für Forschungsinformation und Qualitätssicherung , sieht die Delphi-Methode dagegen für den genannten Zweck nicht als geeignet an: „(D)ie Delphi-Methode wird vor allen Dingen für explorative Zwecke eingesetzt. Für Evaluationsverfahren , in denen Wirksamkeit oder Zielerreichung überprüft werden sollen, eignet sich das Verfahren nicht; es wird dort meist nur für brainstorming oder eine Diskussion des Evaluationsdesigns genutzt. Bei prognostischen Verfahren wird die Delphi-Methode häufig zur Erschließung eines ‚Möglichkeitsraums‘ genutzt.“ (E-Mail vom 11. Februar 2014) In eine zweiten Mail differenzierte Prof. Hornbostel seine Stellungnahme dahingehend, dass für Wirkungsanalysen grundsätzlich "eher komparative Verfahren in Betracht" kämen. Die Delphi- Methode könne zwar in Bezug auf "einzelne (Teil)Fragestellungen ein sinnvoller Beitrag zu einer Evaluation sein". Für eine umfassende Beurteilung sei in jedem Fall "die Anwendung verschiedener Methoden angezeigt (Methodenmix)". Ähnlich wie Prof Häder wies auch er auf die Notwendigkeit einer präzisen Bestimmung des Untersuchungsgegenstandes hin: "Eine genauere Methodenberatung ist (...) nur möglich, wenn die Fragestellung präzise formuliert ist." (E-Mail vom 28. Februar 2014) Wissenschaftliche Dienste Ausarbeitung WD 8 - 3000 - 006/2014 Seite 14 5. Literatur- und Quellenverzeichnis Aspinall, Willy, A route to more tractable expert advice In: Nature 2010 Vol. 462, 21. Jan 2010 S. 294-295. Blawat, Katrin, Google verbessert Vorhersage von Grippewellen. In. Süddeutsche Zeitung (4. Dezember 2013), vgl. http://www.sueddeutsche.de/gesundheit/influenza-google-verbessertvorhersage -von-grippewellen-1.1834801 Geiger, Walter, Delphi Methode (Delphi-Befragung) (2009) In: http://www.google.de/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0CCwQFjAA&url= http%3A%2F%2Fcampusib.fh-burgenl Geiger, Walter, Wissenserwerb und Wissenstransfer in der Umwelttechnologie aus der Sicht der WissensarbeiterInnen - Die Bedeutung von kollaborativen Strukturen und Werkzeug (Eisenstadt 2009) Gregersen, Jan, Hochschule@Zukunft 2030. Ergebnisse und Diskussionen des Hochschuldelphi (Wiesbaden 2011) Häder, Michael, Delphi-Befragungen. Ein Arbeitsbuch (Wiesbaden 2014) Häder, Michael, Delphi-Methode. In: Empirische Sozialforschung. Eine Einführung (Wiesbaden 2010), S. 351-363. Häder, Michael, Subjektiv sicher und trotzdem falsch? Methodische Ergebnisse einer Delphi- Studie zur Zukunft des Mobilfunks. In: ZUMA-Nachrichten, 24 (2000) 46, S. 89 - 116. Kuhn, Jürgen, Kommerzielle Nutzung mobiler Anwendungen - Ergebnisse der Delphi-Studie“ “Mobile Business” (2004) In: https://portal.dnb.de/opac.htm?method=simpleSearch&cqlMode=true&reset=true&referrerPo sition=0&referrerResultId=idn%3 Landeta, Jon et al. Hybrid Delphi: A methodology to facilitate contribution from experts in professional contexts. In: Technological Forecasting & Social Change 78 (2011) 1629–1641. Pennekamp, Johannes, Mit Google in die Zukunft schauen. In: Zeit Online (30. September 2011), vgl. http://www.zeit.de/wirtschaft/2011-09/google-arbeitslosigkeit Schultz, Stefan, Skurrile Methode: DIW googelt sich Arbeitslosen-Prognosen zusammen. In: Der Spiegel (17. Juni 2009), vgl. http://www.spiegel.de/wirtschaft/skurrile-methode-diw-googeltsich -arbeitslosen-prognosen-zusammen-a-630996.html