WD 8 - 3000 - 073/19 (4. Juni 2019) © 2019 Deutscher Bundestag Die Wissenschaftlichen Dienste des Deutschen Bundestages unterstützen die Mitglieder des Deutschen Bundestages bei ihrer mandatsbezogenen Tätigkeit. Ihre Arbeiten geben nicht die Auffassung des Deutschen Bundestages, eines seiner Organe oder der Bundestagsverwaltung wieder. Vielmehr liegen sie in der fachlichen Verantwortung der Verfasserinnen und Verfasser sowie der Fachbereichsleitung. Arbeiten der Wissenschaftlichen Dienste geben nur den zum Zeitpunkt der Erstellung des Textes aktuellen Stand wieder und stellen eine individuelle Auftragsarbeit für einen Abgeordneten des Bundestages dar. Die Arbeiten können der Geheimschutzordnung des Bundestages unterliegende, geschützte oder andere nicht zur Veröffentlichung geeignete Informationen enthalten. Eine beabsichtigte Weitergabe oder Veröffentlichung ist vorab dem jeweiligen Fachbereich anzuzeigen und nur mit Angabe der Quelle zulässig. Der Fachbereich berät über die dabei zu berücksichtigenden Fragen. Die vorliegende Studie „Erasmus+ Higher Education Impact Study“ wurde von der Europäischen Kommission bei den externen Beratungsfirmen CHE Consult GmbH und ICF Consulting Services Limited in Auftrag gegeben.1 Zwischen 2014 und 2018 haben rund zwei Millionen Studierende und Mitarbeiter der teilnehmenden Institutionen einen Auslandaufenthalt im Rahmen des Erasmus-Programms absolviert. Die für die Einzelfrage relevanten Umfrageergebnisse werden in Kapitel 5.5 unter der Überschrift „Employability“ (Beschäftigungsfähigkeit) dargelegt. Laut den Verfassern der Studie gaben 72 Prozent der Erasmus+-Teilnehmer unter den Befragten an, die Mobilität sei bei der Suche nach dem ersten Job ‚vorteilhaft‘ („beneficial“) oder ‚sehr vorteilhaft‘ („highly beneficial“) gewesen .2 Die Verfasser kommen u. a. zu dem Ergebnis, dass 79 Prozent der Graduierten, die an Erasmus+ teilnahmen, ihre erste Anstellung in weniger als drei Monaten nach Abschluss des Studiums gefunden hätten. Im Gegensatz dazu hätten 75 Prozent der Graduierten, die während des Studiums keinen Auslandsaufenthalt absolviert hatten, in derselben Zeit eine Anstellung gefunden. Weitere zehn Prozent der ehemaligen Erasmus-Teilnehmer hätten ihren ersten Job innerhalb von sechs Monaten nach Abschluss des Studiums gefunden; dies sei im Gegenzug neun Prozent der nicht-mobilen Graduierten gelungen.3 Die nachfolgende Tabelle verdeutlicht den Zeitverlauf bis zur ersten Einstellung von Absolventen mit Erasmus+-Abschluss und von nicht-mobilen Absolventen, die 2016 oder früher ihren Abschluss gemacht haben. 1 European Commission (2019): „Erasmus+ Higher Education Impact Study.“ Abrufbar unter: http://www.indire .it/wp-content/uploads/2019/05/erasmus_higher_education_impact_study.pdf [zuletzt abgerufen am 4. Juni 2019]. 2 Ebenda: 90. 3 Ebenda: 92. Wissenschaftliche Dienste Kurzinformation Einzelfrage: Aussagekraft der Ergebnisse der Studie „Erasmus+ Higher Education Impact Study“ Kurzinformation Einzelfrage: Aussagekraft der Ergebnisse der Studie „Erasmus+ Higher Education Impact Study“ Fachbereich WD 8 (Umwelt, Naturschutz, Reaktorsicherheit, Bildung und Forschung) Wissenschaftliche Dienste Seite 2 Ebenda. Für die Studie wurden zwischen Januar 2017 und April 2019 insgesamt knapp 77 000 Antworten („survey responses“) gesammelt und ausgewertet. Im dritten Kapitel, welches die Überschrift „Methodology“ (Methodik) trägt, wird die Zusammensetzung der primären Zielgruppen der Umfragen („target groups“) und der Gruppen, deren Antworten als Vergleichsmaterial herangezogen wurden, aufgeschlüsselt. Demnach wurden folgende Zielgruppen befragt: - Studierende, die am Erasmus-Programm teilnahmen und sowohl maximal zwei Wochen vor, als auch maximal zwei Wochen nach der Mobilitätsphase Fragebögen beantworteten (E+ PRE und E+ POST);4 - bereits Graduierte, die in der Vergangenheit am Erasmus-Programm teilgenommen hatten (ERASMUS(+) GRADUATES); - Mitarbeiter von wissenschaftlichen Institutionen, die über Erasmus-Erfahrung verfügten; - akademische Institutionen, die mit dem Erasmus-Programm in Verbindung stehen; - Koordinatoren zur Bildung von „Strategischen Partnerschaften“ im Rahmen des Erasmus- Programms. Insgesamt wurden von diesen Gruppen 65 674 Umfrageantworten gesammelt.5 Die Studie war in zwei Phasen angelegt. Einige Befragte wurden drei Monate bzw. zwei Wochen vor ihren Auslandsaufenthalten und nach Ende der Mobilität befragt. Dasselbe galt für die Studenten , die nicht im Ausland gewesen waren. Sechs Monate nach der ersten Befragung erfolgte 4 Dies schließt nicht aus, dass diese Umfrageteilnehmer nicht in der Vergangenheit schon einmal an einem Austauschprogramm teilgenommen hatten („this does not ensure that none of them had ever experienced any mobility before“). Ebenda: 188. 5 Von den noch Studierenden 42 494 Antworten, von den Graduierten 12 366 Antworten, von den Institutionsmitarbeitern 10 021 Antworten, von den Institutionen selbst 708 Antworten, von den Koordinatoren Strategischer Partnerschaften 85 Antworten. Kurzinformation Einzelfrage: Aussagekraft der Ergebnisse der Studie „Erasmus+ Higher Education Impact Study“ Fachbereich WD 8 (Umwelt, Naturschutz, Reaktorsicherheit, Bildung und Forschung) Wissenschaftliche Dienste Seite 3 eine zweite Befragung. Dieser Zeitrahmen wurde angesetzt, weil er der durchschnittlichen Länge eines Studienaufenthaltes im Ausland entspricht.6 Für einen Vergleich wurden Antworten von folgenden Gruppen ausgewertet: - Für die Teilnahme an einem Erasmus-Austausch ausgewählte Studierende mindestens drei Monate vor Beginn ihrer Mobilität (E+ PRE PRE). - Für Studierende, Graduierte und Mitarbeiter von wissenschaftlichen Institutionen, die an anderen , von Erasmus unabhängigen Mobilitätsprogrammen teilnahmen (OTHER MOBILE). - Für Studierende, Graduierte und Mitarbeiter von wissenschaftlichen Institutionen, die zu keinem Zeitpunkt einen Auslandsaufenthalt absolviert hatten (NON-MOBILE). Von diesen Gruppen wurden insgesamt 15 594 Antworten gesammelt.7 Die folgende Grafik listet die Gruppen der befragten Studierenden auf und zeigt an, für welche Gruppen in mehrfachen Umfragen zusammenhängende Umfragedaten gesammelt wurden („paired data“) und welche Gruppen nur einmalig befragt wurden. Letztere Daten konnten folglich nur im Querprofil verglichen werden („cross-section comparison“). Quelle: Visualisierung ICF/CHE Consult8 6 Ebenda: 26. 7 4 375 Antworten von Studierenden drei Monate vor der Erasmus-Mobilität, 6 863 Antworten von Teilnehmern an anderen Mobilitätsprogrammen, 4 356 Antworten von nicht-mobilen Umfrageteilnehmern. 8 Ebenda: 27. Kurzinformation Einzelfrage: Aussagekraft der Ergebnisse der Studie „Erasmus+ Higher Education Impact Study“ Fachbereich WD 8 (Umwelt, Naturschutz, Reaktorsicherheit, Bildung und Forschung) Wissenschaftliche Dienste Seite 4 Die Studie selbst nimmt auch Bezug zur Validität ihrer getroffenen Aussagen. Im Kapitel über die angewandte Methodik unter Abschnitt 3.6 „Limitations“ (Einschränkungen) werden mögliche Quellen von Verzerrung („bias“) bei der Erhebung der Daten angesprochen: „Response rates ranged from 19% to 35% for individual groups of Erasmus+ participants. In the case of Strategic Partnership coordinators, the response rate reached 64%. Although this result is not surprising for an online survey of the target groups for the project, non-response may be a source of bias – if individuals responding to the survey are systematically different from those who did not answer it, e.g. in their feeling about the programme.“9 „First, the data collected is not experimental but observational, and the interpretations are limited to association, not causalities. An experimental design cannot be applied to public programmes such as Erasmus+ as it is not possible to assign participants randomly to treatment and control groups for legal and ethical reasons. Although the study mimics some characteristics of a quasi-experimental design by comparing Erasmus+ participants to non-participants, this comparison should be considered indicative rather than conclusive. Causal effects generally are difficult to measure based on surveys, and in our context especially, due to limitations such as potential self-selection biases –into the programme and into survey participation. Erasmus+ participants may differ from other graduates in more aspects than just participation in the mobility experience. Their self-selection into a mobility experience may reflect differences in their attitudes, motivations, and performance, etc. compared to non-mobile students. These inherent differences cannot be controlled for within the design of this study and, thus, the evidence collected should be considered indicative of the development participants are subject to through their mobility. In addition, given the increase in participation in Erasmus over time, findings on graduates who were among the first to participate in Erasmus might not be transferrable for graduates today. Regarding self-selection into the survey amongst those approached for participation , it cannot be ruled out that reasons to participate in the project surveys could be related to certain personal characteristics that differentiate survey participants from non-participants.“10 (Eigene Übersetzung:) „Die Rücklaufquoten reichten von 19% bis 35% für einzelne Gruppen von Erasmus+–Teilnehmern. Bei den Koordinatoren für strategische Partnerschaften lag die Rücklaufquote bei 64%. Obwohl dieses Ergebnis für eine Online-Befragung der Zielgruppen für das Projekt nicht überraschend ist, kann die Nichtbeantwortung eine Verzerrung hervorrufen - wenn sich die Personen, die auf die Befragung antworten, systematisch von denen unterscheiden, die sie nicht beantwortet haben, z. B. durch ihre Einstellung gegenüber dem Programm.“ Erstens sind die gesammelten Daten nicht experimentell, sondern beobachtend, und die Interpretationen beschränken sich auf Assoziationen, nicht auf Kausalitäten. Ein experimenteller Entwurf kann nicht auf öffentliche Programme wie Erasmus+ angewendet werden, da es aus rechtlichen und ethischen Gründen nicht möglich ist, Teilnehmer zufällig Behandlungs- und Kontrollgruppen zuzuweisen. Obwohl die Studie einige Merkmale eines quasi-experimentellen Designs imitiert , indem Erasmus+–Teilnehmer mit Nicht-Teilnehmern verglichen werden, sollte dieser Vergleich eher als Tendenzen anzeigend denn als abschließend angesehen werden. 9 Ebenda: 28. 10 Ebenda: 39. Kurzinformation Einzelfrage: Aussagekraft der Ergebnisse der Studie „Erasmus+ Higher Education Impact Study“ Fachbereich WD 8 (Umwelt, Naturschutz, Reaktorsicherheit, Bildung und Forschung) Wissenschaftliche Dienste Seite 5 Kausale Effekte sind auf der Grundlage von Umfragen im Allgemeinen schwer zu messen, insbesondere in unserem Kontext aufgrund von Einschränkungen wie potenziellen Selbstauswahlverzerrungen , die sich auf das Programm und die Teilnahme an Umfragen auswirken. Erasmus+-Teilnehmer können sich von anderen Absolventen nicht nur in Bezug auf die Teilnahme am Mobilitätserlebnis unterscheiden. Ihre Selbstauswahl in ein Mobilitätserlebnis kann Unterschiede in ihren Einstellungen, Motivationen und Leistungen usw. im Vergleich zu nichtmobilen Studenten widerspiegeln. Diese inhärenten Unterschiede können im Aufbau dieser Studie nicht berücksichtigt werden. Daher sollten die gesammelten Beweise als Hinweis darauf angesehen werden, welcher Entwicklung die Teilnehmer durch ihre Mobilität ausgesetzt sind. Da die Teilnahme an Erasmus im Laufe der Zeit zugenommen hat, sind Erkenntnisse über Absolventen , die zu den ersten gehörten, die an Erasmus teilgenommen haben, möglicherweise nicht auf Absolventen von heute übertragbar. In Bezug auf die Selbstauswahl bei der Umfrage unter den zur Teilnahme angesprochenen Personen kann nicht ausgeschlossen werden, dass Gründe für die Teilnahme an den Projektumfragen mit bestimmten persönlichen Merkmalen zusammenhängen, die die Umfrageteilnehmer von den Nichtteilnehmern unterscheiden.“ Die Verfasser konstatieren demnach, dass die Aussagekraft der Studie eingeschränkt sei. Den Aussagen im dritten Kapitel ist zu entnehmen, dass von Seiten der Verfasser nicht ausgeschlossen werden kann, dass Studierende, die sich entschließen, am Erasmus-Programm teilzunehmen und im Zuge dessen auch die Umfrage ausfüllen, bereits im Vorfeld einer gewissen ‚Selbstselektion ‘ unterliegen, die eher auf persönliche Eigenschaften der Studierenden zurückzuführen ist. Diese Eigenschaften könnten sich - unabhängig von einer Teilnahme am Erasmus-Programm - unter Umständen auch später auf den Erfolg der Graduierten auf dem Arbeitsmarkt auswirken. ***