© 2019 Deutscher Bundestag WD 10 – 3000 – 045/19 Behandlung von „Hate Speech“ vor 2015 YouTube, Facebook und Twitter Sachstand Wissenschaftliche Dienste Die Wissenschaftlichen Dienste des Deutschen Bundestages unterstützen die Mitglieder des Deutschen Bundestages bei ihrer mandatsbezogenen Tätigkeit. Ihre Arbeiten geben nicht die Auffassung des Deutschen Bundestages, eines seiner Organe oder der Bundestagsverwaltung wieder. Vielmehr liegen sie in der fachlichen Verantwortung der Verfasserinnen und Verfasser sowie der Fachbereichsleitung. Arbeiten der Wissenschaftlichen Dienste geben nur den zum Zeitpunkt der Erstellung des Textes aktuellen Stand wieder und stellen eine individuelle Auftragsarbeit für einen Abgeordneten des Bundestages dar. Die Arbeiten können der Geheimschutzordnung des Bundestages unterliegende, geschützte oder andere nicht zur Veröffentlichung geeignete Informationen enthalten. Eine beabsichtigte Weitergabe oder Veröffentlichung ist vorab dem jeweiligen Fachbereich anzuzeigen und nur mit Angabe der Quelle zulässig. Der Fachbereich berät über die dabei zu berücksichtigenden Fragen. Wissenschaftliche Dienste Sachstand WD 10 – 3000 – 045/19 Seite 2 Behandlung von „Hate Speech“ vor 2015 YouTube, Facebook und Twitter Aktenzeichen: WD 10 – 3000 – 045/19 Abschluss der Arbeit: 16. August 2019 Fachbereich: WD 10: Kultur, Medien und Sport Wissenschaftliche Dienste Sachstand WD 10 – 3000 – 045/19 Seite 3 Inhaltsverzeichnis 1. Vorbemerkung 4 2. Begriff der „Hassrede“ / „Hate Speech“ 4 3. „Hate Speech“ - legislative Regulierung im internationalen Vergleich 8 3.1. Deutschland 8 3.2. Vereinigtes Königreich 9 3.3. Frankreich 10 3.4. USA 11 4. „Hate Speech“ – unternehmensspezifische Behandlung 12 4.1. YouTube 12 4.2. Facebook 14 4.3. Twitter 15 5. Anlagen 16 5.1. Facebook, Microsoft, Twitter und Youtube: „Verhaltenskodex für die Bekämpfung illegaler Hassreden im Internet“ (Stand: 2016) 16 5.2. Facebook: Gemeinschaftsstandards, Abschnitt: 11. Hassrede (Stand: 2019) 16 Wissenschaftliche Dienste Sachstand WD 10 – 3000 – 045/19 Seite 4 1. Vorbemerkung Dieser Sachstand gibt einen kursorischen Überblick über die Behandlung von „Hassrede“ / „Hate Speech“ vor 2015 durch ausgewählte Portale sozialer Netzwerke. Hierzu wurden die Unternehmen YouTube, Facebook und Twitter angefragt, die größtenteils ihre Antworten telefonisch und per E-Mail bis Ende Juli 2019 übermittelt haben. Von Twitter liegt keine Antwort vor. Hier konnten jedoch Informationen aus den von Twitter veröffentlichten Transparenzberichten entnommen werden. 2. Begriff der „Hassrede“ / „Hate Speech“ Der Begriff der „Hassrede“ / „Hate Speech“ kennt keine allgemeingültige Definition.1 Vielmehr existiert eine Vielzahl verschiedener, teils konkurrierender Begriffsbestimmungen. Ein vermeintliches Fehlen einer allgemeingültigen Definition der „Hate Speech“ wird daher auch als ein zentrales Problem ihrer Regulierung angesehen.2 Aus diesem Grund bedarf es an dieser Stelle zunächst der Klärung der Frage, was sich hinter dem Begriff „Hate Speech“ verbirgt. Der Begriff lässt sich auf einen zunächst in den 1980er und 1990er-Jahren in den Vereinigten Staaten aufkommenden Diskurs zurückführen.3 Die erste Verwendung geht wohl auf Mari Matsuda im Jahr 1988 zurück.4 Im Verlaufe der aufkommenden wissenschaftlichen Diskussion 1 „There is no international legal definition of hate speech, and the characterization of what is ‘hateful’ is controversial and disputed.“ United Nations, United Nations Strategy and Plan of Action on Hate Speech, Mai 2019, S. 2, https://www.un.org/en/genocideprevention/documents/UN%20Strategy%20and%20Plan%20of%20Action %20on%20Hate%20Speech%2018%20June%20SYNOPSIS.pdf. 2 Kiska, R. (2012), Hate speech: a comparison between the European Court of Human Rights and the United States Supreme Court jurisprudence. Regent UL Rev., 25, 107, S. 110 (“The central problem is that nobody really knows what it is or how to define it (…) “Hate Speech” seems to be whatever people choose it to mean. It lacks any objective criteria whatsoever.“ / „Das grundlegende Problem ist, dass niemand wirklich weiß, was sie ist oder wie sie zu definieren ist (…) „Hate Speech“ scheint das zu sein, was Menschen dafür halten wollen. Sie entbehrt jeglicher objektiver Kriterien.“ (eigene Übersetzung). 3 Frühe Befürworter einer stärkeren Regulierung derartiger Äußerungen waren Matsuda, Lawrence und Delgado, deren entsprechende Schriften im Sammelband „Words that Wound: Critical Race Theory, Assaultive Speech, and the First Amendment“, New York 1993, ein großes Echo auslösten. 4 So Brown, A. (2017), What is hate speech? Part 1: The myth of hate. Law and Philosophy, 36(4), 424, mit Verweis auf Matsuda, M. J. (1988). Public response to racist speech: Considering the victim's story. Mich. L. Rev., 87, 2320. Wissenschaftliche Dienste Sachstand WD 10 – 3000 – 045/19 Seite 5 prägte dann insbesondere Henry Louis Gates jr. den Begriff der „Hate Speech“ für die in Rede stehenden Äußerungen.5 Gates selbst sah den Begriff indes als stark ideologiegeprägt und unklar an.6 Eine Vielzahl von Autoren verschiedener Fachrichtungen – von juristischen über politikwissenschaftlichen bis hin zu sprachwissenschaftlichen Ansätzen – hat sich seitdem an einer Definition versucht.7 Grundsätzlich wird der Begriff „Hate Speech“ – welcher sich auch im Deutschen gegenüber seinem Pendant der „Hassrede“ etabliert hat – als Oberbegriff für gruppenbezogene Menschenfeindlichkeit und Volksverhetzung verwendet.8 Stefanowitsch sieht „Hate Speech“ als politischen Begriff mit mehr oder weniger starken Bezügen zu juristischen Tatbeständen.9 Es gehe um Herabwürdigung und Verunglimpfung von Personen , und zwar gerade als Mitglied einer Gruppe oder aufgrund ihrer Zugehörigkeit zu einer Gruppe.10 In letzterem Punkt unterscheide sich „Hate Speech“ von gewöhnlichen Beleidigungen und Verunglimpfungen, welche Personen als Individuen treffen.11 Eine umfassende Definition hat das Ministerkomitee des Europarats bereits 1997 formuliert. Danach bezeichne der Begriff „jegliche Ausdrucksformen, welche Rassenhass, Fremdenfeindlichkeit , Antisemitismus oder andere Formen von Hass, die auf Intoleranz gründen, propagieren, dazu anstiften, sie fördern oder rechtfertigen, einschließlich der Intoleranz, die sich in Form eines aggressiven Nationalismus und Ethnozentrismus, einer Diskriminierung und Feindseligkeit 5 So Meyer-Sickendick, Hate Speech als literarische Rhetorik, oder: Wie man mit Judith Butler sarkastische Texte lesen kann, S. 95, in: Meibauer (Hg.), Hassrede / Hate Speech. Interdisziplinäre Beiträge zu einer aktuellen Diskussion , 2013, http://geb.uni-giessen.de/geb/volltexte/2013/10121/pdf/HassredeMeibauer_2013_korr.pdf. 6 Gates Jr, H. L. (1994). War of words: Critical race theory and the first amendment. Speaking of Race, S. 17 f. (Zitat: “the phrase hate-speech is ideology in spansule form (…) a phrase that alludes to an argument without revealing anything much about it.”), https://web.stanford.edu/class/polisci92n/readings/nov.20.1.gates.pdf. 7 Brown, A., a.a.O., mit zahlreichen Literaturhinweise aus dem US-amerikanischen juristischen Schrifttum in Fn. 5. 8 Amadeu Antonio Stiftung, „Geh sterben!“ – Umgang mit Hate Speech und Kommentaren im Internet, S. 8, https://www.amadeu-antonio-stiftung.de/wp-content/uploads/2018/08/hatespeech-1.pdf. 9 Stefanowitsch, A., Was ist überhaupt Hate Speech?, S. 11, in: Amadeu Antonio Stiftung, (Hrsg.), „Geh sterben!“ – Umgang mit Hate Speech und Kommentaren im Internet, https://www.amadeu-antonio-stiftung.de/wp-content /uploads/2018/08/hatespeech-1.pdf. 10 Stefanowitsch, A., a.a.O., S. 11. 11 Ebenda. Wissenschaftliche Dienste Sachstand WD 10 – 3000 – 045/19 Seite 6 gegenüber Minderheiten, Einwanderern und der Einwanderung entstammenden Personen ausdrücken .“12 Eine weitere Definition findet sich im Rahmenbeschluss 2008/913/JI des Rates vom 28. November 2008 zur strafrechtlichen Bekämpfung bestimmter Formen und Ausdrucksweisen von Rassismus und Fremdenfeindlichkeit. Auch diese Definition stellt bestimmte geschützte Personengruppen heraus. Danach geht es bei „Hassrede“ um „jegliches Verhalten öffentlicher Aufstachelung zu Gewalt oder Hass gegen eine Gruppe von Personen oder gegen ein Mitglied einer solchen Gruppe nach den Kriterien Rasse, Hautfarbe, Religion, Abstammung oder nationaler oder ethnischer Herkunft.“13 Auch in der kürzlich veröffentlichten „Strategie und dem Aktionsplan der Vereinten Nationen zu Hate Speech“ findet sich eine Definition von „Hate Speech“14 als „jede Art von Kommunikation in Sprache, Schrift und Verhalten, die angreifend ist oder eine abwertende oder diskriminierende Äußerung in Bezug auf eine Person oder eine Gruppe auf der Grundlage ihrer Eigenschaft, in anderen Worten auf der Grundlage ihrer Ethnie, Nationalität, Rasse, Farbe, Abstammung, Geschlecht oder ein anderes Identifizierungsmerkmal nutzt.“15 Die sozialen Netzwerke, insbesondere Facebook und YouTube, haben darüber hinaus auch eigene Gemeinschaftsstandards erlassen, in welchen sich Definitionen von „Hate Speech“ / „Hassrede “ finden. Diese unterscheiden sich nicht grundsätzlich von den oben aufgeführten Definitionen . Ihnen allen ist gemein, dass sie als Anknüpfungspunkt die Zugehörigkeit der adressierten Person zu einer bestimmten Personengruppe verwenden. Facebook versteht unter „Hate Speech“ Folgendes: „Wir definieren Hassrede als direkten Angriff auf Personen aufgrund geschützter Eigenschaften: ethnische Zugehörigkeit, nationale Herkunft, religiöse Zugehörigkeit, sexuelle Orientierung, Kaste, Geschlecht, Geschlechtsidentität, ernsthafte 12 Ministerkomitee des Europarats, Empfehlung R (97) 20, 30.10.1997 (nichtamtliche Übersetzung), www.egmr.org/minkom/ch/rec1997-20.pdf. Im englischen Original lautet die Definition: “the term "hate speech" shall be understood as covering all forms of expression which spread, incite, promote or justify racial hatred, xenophobia, anti-Semitism or other forms of hatred based on intolerance, including: intolerance expressed by aggressive nationalism and ethnocentrism, discrimination and hostility against minorities, migrants and people of immigrant origin”, siehe Council of Europe, Committee of Ministers, Recommendation No. R (97) 20, https://rm.coe.int/1680505d5b. 13 Rat der Europäischen Union, Rahmenbeschluss 2008/913/JI vom 28. November 2008 zur strafrechtlichen Bekämpfung bestimmter Formen und Ausdrucksweisen von Rassismus und Fremdenfeindlichkeit, https://eurlex .europa.eu/legal-content/de/ALL/?uri=CELEX%3A32008F0913. Siehe insbesondere Erwägungsgrund (9) (Hass) und Artikel 1 (Rassistische und fremdenfeindliche Straftaten). 14 United Nations, United Nations Strategy and Plan of Action on Hate Speech, Mai 2019, https://www.un.org/en/genocideprevention/documents/UN%20Strategy%20and%20Plan%20of%20Action %20on%20Hate%20Speech%2018%20June%20SYNOPSIS.pdf. 15 Eigene Übersetzung von „…the term hate speech is understood as any kind of communication in speech, writing or behaviour, that attacks or uses pejorative or discriminatory language with reference to a person or a group on the basis of who they are, in other words, based on their religion, ethnicity, nationality, race, colour, descent, gender or other identity factor.“, United Nations, a.a.O., S. 2. Wissenschaftliche Dienste Sachstand WD 10 – 3000 – 045/19 Seite 7 Erkrankung oder schwere Behinderung. Auch der Einwanderungsstatus ist in gewissem Umfang eine geschützte Eigenschaft.“ Ein Angriff in diesem Sinne wiederum wird verstanden als „gewalttätige oder entmenschlichende Sprache, Aussagen über Minderwertigkeit oder Aufrufe, Personen auszuschließen oder zu isolieren.“16 Dabei werden verschiedene Schweregrade zugeordnet. Auch YouTube knüpft an eine Gruppenzugehörigkeit an, wobei sich die geschützten Personengruppen kaum von denen bei Facebook unterscheiden. Es gehe um „Inhalte, die in Bezug auf die folgenden Merkmale zu Gewalt oder Hass gegen Einzelpersonen oder Gruppen aufrufen: Alter, Gesellschaftsklasse, Behinderung, ethnische Herkunft, Geschlechtsidentität, Nationalität, Rasse, Einwanderungsstatus, Religion, Geschlecht, sexuelle Orientierung, Opfer von schwerwiegenden Gewaltereignissen und deren Angehörige, Veteranenstatus.“17 Zuletzt hat auch Twitter eine geschäftseigene Definition von „Hass schürendem Verhalten“ veröffentlicht, die als Aufruf an seine Nutzer formuliert ist: „Du darfst keine Gewalt gegen andere Personen fördern, insbesondere nicht aufgrund der Abstammung, der ethnischen Zugehörigkeit, der nationalen Herkunft, der sexuellen Orientierung, des Geschlechts, der Geschlechtsidentität, der religiösen Zugehörigkeit , des Alters, einer Behinderung oder einer Krankheit, noch darfst du sie aus diesen Gründen bedrohen oder belästigen.“18 Trotz einiger Übereinstimmungen wird, wie eingangs erwähnt, aus den vorstehenden Definitionen sehr deutlich, wie vage und facettenreich der Begriff „Hassrede“ (bzw. „Hate Speech“) beschrieben wird. Die Beurteilung des Vorliegens einer Hassrede, der damit in Zusammenhang gebrachten Umstände und damit des Überschreitens nicht objektiv bestimmbarer Schwellenwerte unterliegt einem erheblichen Ermessenspielraum des jeweiligen Entscheidungsträgers.19 Somit dürfte die Subsumption realer Sachverhalte unter diese Begriffe äußerst problematisch und die Gefahr willkürlicher Entscheidungen groß sein, was sich nachteilig auf die Meinungs- und Informationsfreiheit als konstitutive Prinzipien demokratischer Verfassungen auswirken dürfte. 16 Facebook-Gemeinschaftsstandards, unter 11. – Hassrede, https://www.facebook.com/communitystandards/objectionable _content. 17 YouTube, Richtlinien zu Hassreden, https://support.google.com/youtube/answer/2801939?hl=de. 18 Twitter-Regeln, abrufbar unter https://help.twitter.com/de/rules-and-policies/twitter-rules#hateful-conduct. 19 Beispiele für die schwierige Beurteilung von strittigen Inhalten und von Hasskommentaren können anhand der vielfach in-transparenten Lösch- und Nicht-Löschpraxis von Facebook auf dem Portal von Joachim Nikolaus Steinhöfel „Wall of Shame“ eingesehen werden, https://facebook-sperre.steinhoefel.de/. Wissenschaftliche Dienste Sachstand WD 10 – 3000 – 045/19 Seite 8 3. „Hate Speech“ - legislative Regulierung im internationalen Vergleich 3.1. Deutschland Äußerungen, die sich als „Hassrede“ charakterisieren lassen, sind in Deutschland insbesondere als Volksverhetzung nach § 130 StGB strafbar.20 Auch Straftatbestände wie die öffentliche Aufforderung zu Straftaten (§ 111 StGB), die Beleidigung (§ 185 StGB) und die Bedrohung (§ 241 StGB) kommen in Betracht.21 Zur besseren Durchsetzung dieses materiellen Rechts im Internet wurde in Deutschland 2017 das Netzwerkdurchsetzungsgesetz verabschiedet.22 Dieses verpflichtet die Betreiber sozialer Netzwerke , offensichtlich rechtswidrige Inhalte innerhalb von 24 Stunden nach Eingang einer Beschwerde zu löschen oder den Zugang zu ihnen zu sperren.23 Als zu löschende oder zu sperrende Inhalte nennt das NetzDG dabei nicht die „Hassrede“ als solche – der Begriff wird auch nicht definiert 24 -, sondern verweist auf existierende Normen des Strafgesetzbuches. Dieser Straftatenkatalog umfasst unter anderem Straftatbestände gegen den demokratischen Rechtsstaat, die sexuelle Selbstbestimmung und die persönliche Ehre.25 Soziale Netzwerke als Adressaten des NetzDG sind ihrerseits definiert als mit Gewinnerzielungsabsicht betriebene Plattformen im Internet, die dazu bestimmt sind, dass Nutzer beliebige Inhalte 20 § 130 Abs. 1 StGB lautet: „Wer in einer Weise, die geeignet ist, den öffentlichen Frieden zu stören, 1. gegen eine nationale, rassische, religiöse oder durch ihre ethnische Herkunft bestimmte Gruppe, gegen Teile der Bevölkerung oder gegen einen Einzelnen wegen seiner Zugehörigkeit zu einer vorbezeichneten Gruppe oder zu einem Teil der Bevölkerung zum Hass aufstachelt, zu Gewalt- oder Willkürmaßnahmen auffordert oder 2. die Menschenwürde anderer dadurch angreift, dass er eine vorbezeichnete Gruppe, Teile der Bevölkerung oder einen Einzelnen wegen seiner Zugehörigkeit zu einer vorbezeichneten Gruppe oder zu einem Teil der Bevölkerung beschimpft, böswillig verächtlich macht oder verleumdet, wird mit Freiheitsstrafe von drei Monaten bis zu fünf Jahren bestraft“, Strafgesetzbuch (StGB) in der Fassung der Bekanntmachung vom 13. November 1998 (BGBl. I S. 3322), das zuletzt durch Artikel 2 des Gesetzes vom 19. Juni 2019 (BGBl. I S. 844) geändert worden ist, https://www.gesetze-im-internet.de/stgb/__130.html. 21 Buermeyer, „Facebook-Justiz statt wirksamer Strafverfolgung?“, https://www.lto.de/recht/hintergruende/h/netzwerkdurchsetzungsgesetz -netzdg-facebook-strafverfolgung-hate-speech-fake-news/ 22 Netzwerkdurchsetzungsgesetz vom 1. September 2017 (BGBl. I S. 3352), https://www.gesetze-im-internet .de/netzdg/BJNR335210017.html. 23 § 3 Abs. 2 Nr. 2 NetzDG. 24 Lediglich in der Begründung des deutschen Gesetzentwurfs wird auf „Hassrede“ und rassistische Hetze Bezug genommen, „die jede und jeden aufgrund der Meinung, Hautfarbe oder Herkunft, der Religion, des Geschlechts oder der Sexualität diffamieren können.“ Vgl. Begründung, A. Allgemeiner Teil, I. Zielsetzung und Notwendigkeit der Regelungen, Entwurf eines Gesetzes zur Verbesserung der Rechtsdurchsetzung in sozialen Netzwerken, BT-Drs. 18/12356, 16.05.2017, S. 11, http://dipbt.bundestag.de/dip21/btd/18/123/1812356.pdf. 25 §1 Abs. 3 NetzDG: „Rechtswidrige Inhalte sind Inhalte im Sinne des Absatzes 1, die den Tatbestand der §§ 86, 86a, 89a, 91, 100a, 111, 126, 129 bis 129b, 130, 131, 140, 166, 184b in Verbindung mit 184d, 185 bis 187, 201a, 241 oder 269 des Strafgesetzbuchs erfüllen und nicht gerechtfertigt sind.“ Wissenschaftliche Dienste Sachstand WD 10 – 3000 – 045/19 Seite 9 mit anderen Nutzern teilen oder der Öffentlichkeit zugänglich machen.26 Diejenigen Anbieter sozialer Netzwerke, die im Kalenderjahr mehr als 100 Beschwerden über rechtswidrige Inhalte erhalten , verpflichtet das NetzDG dazu, halbjährlich einen deutschsprachigen Bericht über den Umgang mit diesen Beschwerden zu veröffentlichen.27 Verstößt ein Anbieter eines sozialen Netzwerkes gegen die Berichtspflichten oder die Vorschriften zum Umgang mit Beschwerden über rechtswidrige Inhalte, drohen empfindliche Bußgelder. Diese können sich auf bis zu 50 Millionen Euro belaufen.28 3.2. Vereinigtes Königreich Im Vereinigten Königreich wird insbesondere mit dem „Public Order Act von 1986“29 Verhalten kriminalisiert, das sich als „Hate Speech“ einstufen ließe.30 Danach macht sich strafbar, wer „bedrohende , schmähende oder beleidigende Worte oder Verhaltensweisen verwendet, oder bedrohende , schmähende oder beleidigende Schriften zur Schau stellt, wenn: a) er hierdurch Rassenhass (racial hatred) zu verbreiten beabsichtigt, oder b) es in der Gesamtschau aller Umstände wahrscheinlich ist, dass hierdurch Rassenhass verbreitet wird.“31 „Rassenhass“ wird dabei definiert als „Hass gegen Personengruppen von bestimmter Hautfarbe, Rasse, Nationalität (inklusive Staatsbürgerschaft) oder ethnischer oder nationaler Herkunft.“32 Ein ähnlicher Straftatbestand 26 § 1 Abs. 3 NetzDG. 27 § 2 Abs. 1 NetzDG. 28 Gemäß § 4 II 1 NetzDG beträgt das Bußgeld bis zu fünf Millionen Euro. Da § 4 II 2 NetzDG zudem auf § 30 II 3 OWiG verweist, drohen sogar Geldbußen von bis zu 50 Mio. Euro. Zur Bußgeldberechnung und zum Ganzen siehe auch Kalscheuer/Hornung, NVwZ 2017, 1721. Diese erachten das NetzDG aus verschiedenen Erwägungen als verfassungswidrig. 29 Public Order Act 1986, up to date with all changes known to be in force on or before 13 August 2019, https://www.legislation.gov.uk/ukpga/1986/64/contents. 30 Ein guter Überblick findet sich in dem Landesbericht „United Kingdom (England and Wales): Responding to hate speech” (2018) der Nichtregierungsorganisation ARTICLE 19, S. 17-20, https://www.article19.org/wp-content /uploads/2018/06/UK-hate-speech_March-2018.pdf. 31 Section 18, Public Order Act 1986 (eigene Übersetzung), abrufbar im englischen Original unter http://www.legislation .gov.uk/ukpga/1986/64/section/18. Der Originaltext lautet: “A person who uses threatening, abusive or insulting words or behaviour, or displays any written material which is threatening, abusive or insulting, is guilty of an offence if – (a) he intends thereby to stir up racial hatred, or (b) having regard to all the circumstances racial hatred is likely to be stirred up thereby.” 32 Section 17, Public Order Act (eigene Übersetzung). Der Originaltext lautet: “racial hatred means hatred against a group of persons defined by reference to colour, race, nationality (including citizenship) or ethnic or national origins.” Wissenschaftliche Dienste Sachstand WD 10 – 3000 – 045/19 Seite 10 umfasst dementsprechende Äußerungen und Verhaltensweisen, mit denen ein Täter religiösen Hass oder Hass aufgrund sexueller Orientierung zu erregen beabsichtigt.33 Im Vereinigten Königreich gibt es kein dem deutschen Netzwerkdurchsetzungsgesetz (NetzDG) entsprechendes Gesetz.34 Die britische Regierung hat jedoch wiederholt betont, dass das, was offline illegal ist, auch online illegal sei.35 Im April 2019 veröffentlichte die (damalige) britische Regierung ein White Paper, welches Pläne zur Regulierung von „schädlichen Inhalten im Internet“ enthält („Online Harms“).36 Dabei geht es darum, „weitverbreitete illegale und inakzeptable Inhalte und Aktivitäten im Internet im Rahmen eines angemessenen und wirksamen legislativen Ansatzes anzugehen, der die Verpflichtung für ein freies, offenes und sicheres Internet widerspiegelt .“37 Ein entsprechender Gesetzentwurf wurde bisher nicht eingebracht. 3.3. Frankreich Das französische Gesetz vom 29. Juli 1881 über die Pressefreiheit (Loi du 29 juillet 1881 sur la liberté de la presse38) und das Strafgesetzbuch (Code pénal39) enthalten verschiedene Normen, die gegen den „discours de haine“ (Hassrede) gerichtet sind.40 Ein aktuelles Gesetzesvorhaben (Proposition de loi visant à lutter contre les contenus haineux sur internet41) soll darüber hinaus die Rechtsdurchsetzung im Internet verbessern und orientiert sich dabei am deutschen Netzwerk- 33 Section 29B, Public Order Act (eigene Übersetzung). Der Originaltext lautet: “A person who uses threatening words or behaviour, or displays any written material which is threatening, is guilty of an offence if he intends thereby to stir up religious hatred or hatred on the grounds of sexual orientation.”. 34 Wissenschaftliche Dienste des Deutschen Bundestages, Regulierung von Hate Speech und Fake News in sozialen Netzwerken durch EU-Mitgliedstaaten, Sachstand, WD 10 - 3000 - 032/18, 15.06.2018, S. 7, https://www.bundestag.de/resource/blob/566942/a5eb997872bbe5dbca3f47112eb04c46/WD-10-032-18-pdfdata .pdf. 35 Vgl. Home Office, Action Against Hate: The UK Government’s action plan for tackling hate crime, Juli 2016, Abschnitt 4, Absatz 70, S. 28, https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment _data/file/543679/Action_Against_Hate_-_UK_Government_s_Plan_to_Tackle_Hate_Crime_2016.pdf . 36 GOV.UK, Online Harms White Paper, updated 26 June 2019, https://www.gov.uk/government/consultations /online-harms-white-paper/online-harms-white-paper. 37 Vgl. ebenda, Absatz Nr. 2 und 9. 38 Loi du 29 juillet 1881 sur la liberté de la presse, Version consolidée au 12 août 2019, https://www.legifrance .gouv.fr/affichTexte.do?cidTexte=LEGITEXT000006070722. 39 Code pénal, Version consolidée au 3 août 2019, https://www.legifrance.gouv.fr/affichCode.do?cidTexte=LE- GITEXT000006070719. 40 Wissenschaftliche Dienste des Deutschen Bundestages, Regulierung von Hate Speech und Fake News in sozialen Netzwerken durch EU-Mitgliedstaaten, a.a.O., S. 5. 41 Assemblée Nationale, Proposition de loi visant à lutter contre les contenus haineux sur internet, Texte adopté n° 310, Session extraordinaire de 2018-2019, 9 juillet 2019, adoptée par l’Assemblée nationale en première lecture, http://www.assemblee-nationale.fr/15/ta/tap0310.pdf und http://www.assemblee-nationale.fr/15/ta/ta0310.asp. Wissenschaftliche Dienste Sachstand WD 10 – 3000 – 045/19 Seite 11 durchsetzungsgesetz (NetzDG). Anders als im deutschen NetzDG gibt es im französischen Gesetzentwurf eine neue Definition von im Internet zu bekämpfenden Inhalten (Hassinhalte im Internet - contenus haineux en ligne). So ist im Art. 1 des aktuellen französischen Gesetzentwurfs eine Ergänzung des Gesetzes für das Vertrauen in die digitale Wirtschaft (Loi pour la confiance dans l'économie numérique, no 2004-575 du 21 juin 200442) vorgesehen. Danach sind„…im Internet veröffentlichte Inhalte zu bekämpfen, die Verbrechen gegen die Menschlichkeit befürworten, die Begehung von Terrorakten provozieren, solche Handlungen befürworten oder zu Hass, Gewalt und Diskriminierung anregen oder eine Verletzung einer Person oder Personengruppe aufgrund von Herkunft, wahrer oder vermuteter Angabe zu Rasse, Religion, ethnischer Zugehörigkeit, Nationalität , Geschlecht, sexueller Orientierung, geschlechtlicher Identität zufügen,…“43 Der Gesetzentwurf wurde am 9. Juli 2019 von der französischen Nationalversammlung in erster Lesung angenommen .44 Eine Zustimmung des Senats steht noch aus. 3.4. USA Die Vereinigten Staaten von Amerika nehmen im internationalen Vergleich hinsichtlich der staatlichen Regulierung von „Hate Speech“ eine Sonderrolle ein. Ihr verfassungsrechtlicher Schutz ist dort weitaus ausgeprägter als in Deutschland, Europa, Kanada und der Mehrheit der anderen Staaten mit jüngeren Verfassungen.45 Die US-amerikanischen Gerichte räumen der Meinungsfreiheit einen nahezu absoluten Schutz ein, worin sie sich von den deutschen Gerichten deutlich unterscheiden.46 Erst wo eine Äußerung direkt zu unmittelbar bevorstehendem rechtswidrigen Verhalten aufruft („imminent lawless action“) und geeignet ist, ein solches Verhalten auch tatsächlich auszulösen, tritt der Schutz der Meinungsfreiheit zurück.47 42 Loi n° 2004-575 du 21 juin 2004 pour la confiance dans l'économie numérique, Version consolidée au 12 août 2019, https://www.legifrance.gouv.fr/affichTexte.do?cidTexte=JORFTEXT000000801164. 43 Eigene Übersetzung von : „…lutte contre les contenus publiés sur internet faisant l’apologie des crimes contre l’humanité, provoquant à la commission d’actes de terrorisme, faisant l’apologie de tels actes ou comportant une incitation à la haine, à la violence, à la discrimination ou une injure envers une personne ou un groupe de personnes à raison de l’origine, d’une prétendue race, de la religion, de l’ethnie, de la nationalité, du sexe, de l’orientation sexuelle, de l’identité de genre ou du handicap, vrais ou supposés,…“ 44 Zur Beschlussfassung des Gesetzentwurfs siehe Assemblée Nationale, Proposition de loi visant à lutter contre les contenus haineux sur internet, adoptée par l’Assemblée nationale en première lecture, Session extraordinaire de 2018-2019, 9 juillet 2019, http://www.assemblee-nationale.fr/15/ta/ta0310.asp. 45 Brugger, W. (2002). Ban on or protection of hate speech-some observations based on German and American law. Tul. Eur. & Civ. LF, 17, 1, S. 2. 46 Brugger, a.a.O., S. 7. 47 Dieser Standard wurde vom Obersten Gerichtshof der Vereinigten Staaten 1969 im Fall Brandenburg v. Ohio, 395 U.S. 444 (1969) etabliert und wird daher auch der Brandenburg-Test genannt. Er ist bis heute gültig, wie u.a. Brugger, Kiska und Bleich ausführen. Siehe dazu Brugger, a.a.O., S. 14 f., Kiska, R. (2012). Hate speech: a comparison between the European Court of Human Rights and the United States Supreme Court jurisprudence. Regent UL Rev., 25, S. 142-144, Bleich, The Rise of Hate Speech and Hate Crime Laws in Liberal Democracies, Journal of Ethnic and Migration Studies, Vol. 37, No. 6, S. 922 f. Wissenschaftliche Dienste Sachstand WD 10 – 3000 – 045/19 Seite 12 Für diesen ausgeprägten Schutz auch von Äußerungen, die sich wohl als „Hate Speech“ klassifizieren ließen, werden verschiedene Begründungsmuster angeführt. So sei in den Vereinigten Staaten das Misstrauen gegenüber der Regierung stärker ausgeprägt, welche nicht zwischen guten und schlechten Meinungen unterscheiden solle.48 Es bestehe dort ein größeres Vertrauen in den Wettbewerb der Meinungen.49 4. „Hate Speech“ – unternehmensspezifische Behandlung 4.1. YouTube Das Videoportal YouTube LLC50 mit Sitz in San Bruno, Kalifornien, Vereinigte Staaten von Amerika , ist eine Tochtergesellschaft von Google LLC mit Sitz in Mountain View, Kalifornien, Vereinigte Staaten von Amerika.51 Laut Angaben von YouTube habe es bereits seit Gründung der Plattform am 14. Februar 2005 Richtlinien zu „Hassrede“ gegeben, die entsprechend durchgesetzt worden seien. Im Zuge gesellschaftlicher Entwicklungen würden die Richtlinien („Community Guidelines“ im Allgemeinen, aber auch insbesondere die „Hate Speech Policies“) laufend angepasst . Vor 2015 seien bereits Löschungen von „Hassrede“ durchgeführt worden. Eine „Hate Speech Policy“ sei seit Bestehen der Plattform zentraler Bestandteil der „Community Guidelines“ gewesen .52 Als Beispiel für zu löschende Inhalte von Hassrede werden etwa die folgenden Äußerungen genannt : „Ich freue mich, dass es zu diesem [gewalttätigen Ereignis] gekommen ist. Sie haben bekommen , was sie verdienen [in Bezug auf Personen mit den oben genannten Merkmalen]“. Auch die Äußerungen „[Personen mit den oben genannten Merkmalen] sind Hunde“ oder „[Personen mit den oben genannten Merkmalen] sind Tiere“ würden entfernt werden.53 48 Brugger, a.a.O., S. 14. 49 Ebenda. 50 YouTube, https://www.youtube.com/intl/de/yt/about/. 51 Google: Infos, https://about.google/. Vgl. auch Wikipedia: Google LLC, https://de.wikipedia .org/wiki/Google_LLC. 52 Für nähere Informationen über die Grundsätze, nach welchen Löschungen 2016 vorgenommen wurden, siehe Junius, Lie, GOOGLE IN EUROPE, Our commitment to fighting illegal hate speech online, May 31, 2016, https://www.blog.google/around-the-globe/google-europe/our-commitment-to-fighting-illegal-hate_39 sowie zu den aktuell angewandten Richtlinien: Video „Hate Speech Policy: Community Guidelines Hate Speech, https://support.google.com/youtube/answer/2801939 und YouTube, Official Blog, Our ongoing work to tackle hate, 05.06.2019, https://youtube.googleblog.com/2019/06/our-ongoing-work-to-tackle-hate.html. 53 Richtlinien zu Hassreden, https://support.google.com/youtube/answer/2801939?hl=de. Wissenschaftliche Dienste Sachstand WD 10 – 3000 – 045/19 Seite 13 Die besagten Richtlinien seien 2017 überarbeitet worden. Im Mittelpunkt habe die Implementierung besserer Möglichkeiten zur Bekämpfung von Terrorismus und Extremismus sowie Maßnahmen gegen Bedrohung durch Hass und Gewalt sowie deren Verherrlichung gestanden.54 Dies sei in dreierlei Hinsicht geschehen. Erstens seien die technologischen Möglichkeiten zur automatischen Identifizierung von extremistischen und terroristischen Inhalten verbessert worden. Zweitens sei die Anzahl unabhängiger Experten zur manuellen Löschung von Hassinhalten erhöht worden.55 Drittens sollten bestimmte Inhalte Nutzern nicht mehr empfohlen werden und nicht mehr für Kommentare zugänglich sein, was deren Reichweite verringere.56 Im Jahr 2019 seien weitere Änderungen an den Löschungsgrundsätzen vorgenommen worden. Das gelte insbesondere für „das gezielte Verbot von Videos, in denen behauptet wird, eine Gruppe sei überlegen, um Diskriminierung, Segregation oder Ausgrenzung aufgrund von Eigenschaften wie Alter, Geschlecht, Rasse, Kaste, Religion, sexueller Orientierung oder Veteranenstatus zu rechtfertigen. Dazu gehören beispielsweise Videos, die die nationalsozialistische Ideologie fördern oder verherrlichen, die von Natur aus diskriminierend ist.“57 Im Falle von „Hassreden“ habe YouTube nach eigenen Angaben die Durchsetzung der bestehenden Richtlinien verstärkt: „Kanäle, die wiederholt gegen unsere Hassreden-Richtlinien verstoßen, werden vom YouTube- Partnerprogramm gesperrt.“58 Bezüglich des Löschverhaltens von YouTube vor 2015 lassen sich einzelne Erkenntnisse entnehmen aus einer vom 21.03.2016 datierenden Antwort der Bundesregierung auf eine Kleine Anfrage der Abgeordneten Dr. Konstantin von Notz, Ulle Schauws, Renate Künast, weiterer Abgeordneter und der Fraktion BÜNDNIS 90/DIE GRÜNEN. Diese ließ die (wenigen) damals verfügbaren Erkenntnisse bezüglich eines etwaigen Löschverhaltens verlautbaren.59 Die Bundesregierung führte aus, dass jugendschutz.net seit 2008 aufgrund einer Förderung des Bundesministeriums für Familie , Senioren, Frauen und Jugend (BMFSFJ) Reaktionen und Maßnahmen globaler Video- und Kommunikationsplattformen bei Hinweisen auf Verstöße dokumentiert habe. Dies sei themenspezifisch und anlassbezogen geschehen. In den vorherigen Jahren – damit 2015 und davor – 54 Nähere Informationen siehe Google: Four steps we’re taking today to fight terrorism online; 18.06.2019, https://www.blog.google/around-the-globe/google-europe/four-steps-were-taking-today-fight-online-terror/. 55 Four steps we’re taking today to fight terrorism online; 18.06.2019, https://www.blog.google/around-theglobe /google-europe/four-steps-were-taking-today-fight-online-terror/. 56 Ebenda. 57 YouTube, Unsere fortwährende Arbeit zur Bekämpfung des Hasses; 05.06.2019, https://youtube.googleblog .com/2019/06/our-ongoing-work-to-tackle-hate.html. 58 Ebenda. Nähere Informationen zum YouTube-Partnerschaftsprogramm: YouTube Partner Program policies, https://support.google.com/youtube/answer/1311392?hl=en. 59 Bundesregierung, Antwort der auf die Kleine Anfrage der Abgeordneten Dr. Konstantin von Notz, Ulle Schauws, Renate Künast, weiterer Abgeordneten und der Fraktion BÜNDNIS 90/DIE GRÜNEN – Drucksache 18/7786 – Maßnahmen von Bundesregierung und Unternehmen gegen Hassreden („Hate Speech“) und weitere strafbare Meinungsäußerungen im Internet, 21.03.2016, Drucksache 18/7941, https://dipbt.bundestag .de/dip21/btd/18/079/1807941.pdf. Wissenschaftliche Dienste Sachstand WD 10 – 3000 – 045/19 Seite 14 seien durchschnittlich zwei Drittel der von jugendschutz.net übermittelten unzulässigen Hassinhalte gelöscht worden.60 Um eine bessere Erfassung des Löschverhaltens zu gewährleisten, sei eine Task Force zum „Umgang mit rechtswidrigen Hassbotschaften im Netz“ unter Leitung des Bundesministeriums der Justiz und für Verbraucherschutz (BMJV) gegründet worden. Diese führte Internetanbieter wie Facebook, Google und Twitter mit zivilgesellschaftlichen Organisationen zusammen.61 Das Gremium beschloss, dass eine eventuelle Änderung des Löschverhaltens von Beschwerdemechanismen großer Plattformen regelmäßig und systematisch überprüft werden solle.62 Ein erster entsprechender Test sei durch jugendschutz.net durchgeführt worden.63 Dafür seien über 600 gemeldete strafbare Beiträge daraufhin ausgewertet worden, wie die Plattformen reagierten.64 Die hieraus resultierenden Erkenntnisse beziehen sich indes nur auf den Zeitraum nach Gründung der Task Force im Jahr 2015. 4.2. Facebook Das soziale Netzwerk Facebook wurde 2004 gegründet und ist heute mit 2,4 Milliarden monatlich aktiven Nutzern65 das größte der Welt.66 Es hat seinen Sitz in Menlo Park, Kalifornien, Vereinigte Staaten von Amerika. Nach telefonischer Auskunft v. 30.07.2019 ist Folgendes festzuhalten: Facebook habe bereits vor 2015 Gemeinschaftsstandards aufgestellt und somit auch zu dieser Zeit weltweit „Hassrede“ gelöscht.67 Die Standards seien von Anfang an veröffentlicht worden. Zusätzlich seien seit 2018 auch die Auslegungsstandards, auf deren Grundlage konkret über eine 60 Ebenda, S. 12. 61 BMJV, Gemeinsam gegen Hassbotschaften – Task Force stellt Ergebnisse vor, 15.12.2015, https://www.bmjv.de/SharedDocs/Artikel/DE/2015/12152015_ErgebnisrundeTaskForce.html. 62 Bundesregierung, Antwort …, a.a.O., S. 12. 63 Bundesministerium für Familie, Senioren, Frauen und Jugend, „Löschung von strafbaren Hasskommentaren im Netz noch nicht ausreichend“, Pressemitteilung, 26.09.2016, https://www.bmfsfj.de/bmfsfj/aktuelles /presse/pressemitteilungen/loeschung-von-strafbaren-hasskommentaren-im-netz-noch-nicht-ausreichend /111512. 64 Ebenda. 65 facebook: Newsroom, https://de.newsroom.fb.com/company-info/. Vgl. auch Statista: Anzahl der monatlich aktiven Facebook Nutzer weltweit vom 1. Quartal 2009 bis zum 2. Quartal 2019 (in Millionen), https://de.statista .com/statistik/daten/studie/37545/umfrage/anzahl-der-aktiven-nutzer-von-facebook/. 66 Statista: Ranking der größten sozialen Netzwerke und Messenger nach der Anzahl der monatlich aktiven Nutzer (MAU) im Januar 2019 (in Millionen), https://de.statista.com/statistik/daten/studie/181086/umfrage/die-weltweit -groessten-social-networks-nach-anzahl-der-user/. 67 Nähere Informationen siehe unter Facebook, Hassrede, https://www.facebook.com/communitystandards /hate_speech. Wissenschaftliche Dienste Sachstand WD 10 – 3000 – 045/19 Seite 15 Löschung entschieden werde, veröffentlicht worden. Die Gemeinschaftsstandards würden sogenannte „protected categories“ beinhalten. Dazu zählten zum Beispiel religiöse, sexuelle oder andere minoritäre Schutzgruppen, die vor „Hassrede“ geschützt werden sollen. Eine Fachgruppe von unterschiedlichen Experten erstelle die Gemeinschaftsstandards und entwickle sie stetig weiter. Nach Aussage von Facebook habe sich die Praxis der Löschung und Behandlung von „Hassrede“ seit 2015 grundsätzlich nicht geändert. Jedoch seien mit „Flüchtlingen und Migranten“ seit der Flüchtlingskrise neue Schutzgruppen in die Gemeinschaftsstandards aufgenommen worden.68 Für Facebook gilt das oben zu YouTube Gesagte: Eine systematische Erfassung des Löschverhaltens vor 2015 existiert nicht, jedoch werden die Beschwerdemechanismen im Nachgang zur „Task Force“ von jugendschutz.net überprüft. 4.3. Twitter Twitter Inc. hat wie Youtube und Facebook seinen Geschäftssitz in Kalifornien, Vereinigte Staaten von Amerika. Es ist ein Mikroblogging-Dienst, der 2006 seine Geschäftstätigkeit aufnahm.69 Twitter veröffentlicht seit 2012 halbjährlich Transparenzberichte, welche u.a. Informationen über die Durchsetzung der Twitter-Regeln70 beinhalten.71 Für den hier relevanten Zeitraum vor 2015 existieren sechs derartige Berichte, welche jeweils das Löschverhalten zwischen Januar und Juni sowie zwischen Juli und Dezember der Jahre 2012 bis 2014 umfassen.72 Die Zahlen zeigen insbesondere für das zweite Halbjahr 2014 einen sprunghaften Anstieg: Die Zahl der Löschanträge sei seit dem vorherigen Berichtszeitraum um 84% gestiegen, wodurch die Anzahl der betroffenen Accounts um 348% anstieg. Zum größten Teil stammten diese Anträge aus der Türkei (477), Russland (91) und Deutschland (43) und sie führten dazu, dass insgesamt 79 Accounts und 1.835 Tweets zurückgezogen wurden. Insgesamt wurden im Zeitraum von Juli bis Dezember 2014 85 Accounts und 1.982 Tweets in verschiedenen Ländern zurückgezogen.73 Aus Deutschland gingen dabei nach eigenen Angaben ein Gerichtsbeschluss bezüglich in einer 68 Über die Änderungen der Gemeinschaftsstandards siehe Facebook: Recent Updates, https://www.facebook .com/communitystandards/recentupdates/. 69 Twitter, Über uns, https://about.twitter.com/de/company.html. 70 Zu den Twitter Regeln vgl. Ausführungen im Gliederungspunkt 2 und Twitter, Die Twitter Regeln, https://help.twitter.com/de/rules-and-policies/twitter-rules#hateful-conduct, sowie Twitter, Richtlinie zu Hass schürendem Verhalten, https://help.twitter.com/de/rules-and-policies/hateful-conduct-policy. 71 Twitter, Transparenzbericht, https://transparency.twitter.com/de.html und Twitter, Germany removal requests, https://transparency.twitter.com/en/countries/de.html. 72 Siehe Twitter, Bericht für Juli bis Dezember 2014, https://transparency.twitter.com/de/removal-requests .html#removal-requests-jul-dec-2014. Die anderen Berichte sind über die dortige Dropdown-Liste ersichtlich . 73 Ebenda. Wissenschaftliche Dienste Sachstand WD 10 – 3000 – 045/19 Seite 16 Werbung enthaltener verleumderischer Äußerungen ein sowie 42 Anträge von Jugendschutzbehörden in Bezug auf die Verwendung verbotener Symbole und rechtswidriger diskriminierender Inhalte.74 5. Anlagen 5.1. Facebook, Microsoft, Twitter und Youtube: „Verhaltenskodex für die Bekämpfung illegaler Hassreden im Internet“ (Stand: 2016) https://ec.europa.eu/newsroom/document.cfm?doc_id=42875. 5.2. Facebook: Gemeinschaftsstandards, Abschnitt: 11. Hassrede (Stand: 2019) https://www.facebook.com/communitystandards/hate_speech. **** 74 Ebenda. Im Transparenzbericht sind weder das Gericht noch das Aktenzeichen des Gerichtsbeschlusses ausewiesen . In diesem Zusammenhang ist auf den Gerichtsbeschluss des Landgerichts Frankfurt/Main, 20.04.2010 - 3-08 O 46/10, zu verweisen. Hierbei wurde einem Twitterer untersagt, bestimmte Behauptungen in seinen Tweets zu verlinken. Vgl. Heidrich, Joerg, Linkhaftung gilt auch für Twitter-Postings, 23.04.2010, https://www.heise.de/newsticker/meldung/Linkhaftung-gilt-auch-fuer-Twitter-Postings-985172.html.