© 2017 Deutscher Bundestag WD 8 - 3000 - 031/17 Algorithmen Einzelfragen zu Instrumenten und Regelansätzen Sachstand Wissenschaftliche Dienste Die Wissenschaftlichen Dienste des Deutschen Bundestages unterstützen die Mitglieder des Deutschen Bundestages bei ihrer mandatsbezogenen Tätigkeit. Ihre Arbeiten geben nicht die Auffassung des Deutschen Bundestages, eines seiner Organe oder der Bundestagsverwaltung wieder. Vielmehr liegen sie in der fachlichen Verantwortung der Verfasserinnen und Verfasser sowie der Fachbereichsleitung. Arbeiten der Wissenschaftlichen Dienste geben nur den zum Zeitpunkt der Erstellung des Textes aktuellen Stand wieder und stellen eine individuelle Auftragsarbeit für einen Abgeordneten des Bundestages dar. Die Arbeiten können der Geheimschutzordnung des Bundestages unterliegende, geschützte oder andere nicht zur Veröffentlichung geeignete Informationen enthalten. Eine beabsichtigte Weitergabe oder Veröffentlichung ist vorab dem jeweiligen Fachbereich anzuzeigen und nur mit Angabe der Quelle zulässig. Der Fachbereich berät über die dabei zu berücksichtigenden Fragen. Wissenschaftliche Dienste Sachstand WD 8 - 3000 - 031/17 Seite 2 Algorithmen Einzelfragen zu Instrumenten und Regelansätzen Aktenzeichen: WD 8 - 3000 - 031/17 Abschluss der Arbeit: 15.08.2017 Fachbereich: WD 8: Umwelt, Naturschutz, Reaktorsicherheit, Bildung und Forschung Wissenschaftliche Dienste Sachstand WD 8 - 3000 - 031/17 Seite 3 Inhaltsverzeichnis 1. Einleitung 4 2. Definition zu Algorithmen 4 3. Anwendungsbeispiele für Algorithmen 5 3.1. Suchmaschinenalgorithmen 5 3.2. Facebook-Newsfeed-Algorithmus 5 3.3. Kürzeste-Wege-Algorithmen 6 3.4. Matching-Algorithmen 6 3.5. People Analytics 6 3.6. Empfehlungsalgorithmen 6 3.7. Analyse-Algorithmen 6 3.8. „Blockchain“-Algorithmus 6 3.9. Künstliche Intelligenz und selbstlernende Algorithmen 7 3.10. Simulations-Algorithmen 7 4. Politische Anwendungsfelder 8 5. Risiken 8 6. Algorithmen in der aktuellen politischen Diskussion 9 6.1. Ausschuss Digitale Agenda 10 6.2. Ausschuss für Bildung, Forschung und Technikfolgenabschätzung 10 6.3. Politische Koordination zur Politik der Digitalen Agenda 11 6.4. Digitale Agenda im europäischen Kontext 12 6.5. Beispiele zu nationalen und internationalen Initiativen und Forschungsaktivitäten 13 7. Fazit 15 8. Quellen und weiterführende Literatur 16 Wissenschaftliche Dienste Sachstand WD 8 - 3000 - 031/17 Seite 4 1. Einleitung Mit zunehmender Digitalisierung unterstützen Algorithmen in fast allen Lebensbereichen die Nutzer durch algorithmisch gesteuerte automatisierte Entscheidungsprozesse (Automated Decision Making, ADM). Suchmaschinen liefern automatisch ausgewählte Treffer, Navigationsprogramme planen Routen, und Datingportale suchen den möglichen Lebenspartner aus. Insgesamt sei von einer zunehmenden Bedeutung von Plattformen sozialer Netzwerke auszugehen.1 Durch den zunehmenden Einfluss Künstlicher Intelligenz und digitaler Assistenten werden kritische Stimmen laut. Wie berechenbar ist der Mensch, wo ist der Einsatz von Algorithmen sinnvoll und wo ist er gefährlich, wie kann der Einfluss transparent gemacht und kontrolliert werden?2 Der Bundesminister der Justiz und für Verbraucherschutz, Maas, fordert mehr Transparenz von Algorithmen, eine Rechtsdurchsetzung, Aufsicht und die Kontrolle von Transparenz3, die Bundesministerin für Wirtschaft und Energie, Zypries, fordert für die Kontrolle der Plattformneutralität eine Digitalagentur4. Öffentliche Fachgespräche des Ausschusses Digitale Agenda zu „Künstlicher Intelligenz“ und des Ausschusses für Bildung, Forschung und Technikfolgenabschätzung zu „Social Bots“ zeigen die politische Brisanz und möglichen Regelungsbedarf. Die vorliegende Arbeit gibt einen Einblick in die aktuelle Diskussion, mögliche Risiken und Handlungsfelder. 2. Definition zu Algorithmen Ein Algorithmus ist eine Reihe von Vorschriften, deren einzelne Schritte definiert sind. Er hat einen Anfang und ein Ende und ein Strang von Anweisungen muss in ihm integriert sein. Die Befehle bzw. Anweisungen erfolgen seriell, können aber auch verzweigen. An der Verzweigung wird meist überprüft, ob eine bestimmte Bedingung erfüllt ist oder nicht. Im Idealfall gibt es keinen Raum für Interpretationen, der Algorithmus darf nur eine Anzahl von endlichen Schritten benötigen und nicht in eine Endlosschleife geraten. Umgesetzt wird der Algorithmus durch ein Computerprogramm. Die Anwendung des Programms ist ein Prozess der Wissensgenerierung aus Datenbeständen durch Anwendung mathematisch-statistischer Verfahren und Algorithmen. „Die 1 Bertelsmann Stiftung (2017). Arbeitspapier „Digitale Öffentlichkeit“, S. 61, https://www.bertelsmann-stiftung .de/de/publikationen/publikation/did/digitale-oeffentlichkeit/ 2 Beer, C., heise online (2016) “ #heiseshow: Ab 12 Uhr live zur Macht der Algorithmen”, https://www.heise.de/newsticker/meldung/heiseshow-Ab-12-Uhr-live-zur-Macht-der-Algorithmen- 3218013.html 3 Bundesministerium der Justiz und für Verbraucherschutz (BMJV) (2017). „Zusammenleben in der digitalen Gesellschaft – Teilhabe ermöglichen, Sicherheit gewährleisten, Freiheit bewahren“, http://www.bmjv.de/Shared- Docs/Reden/DE/2017/07032017_digitales_Leben.html?nn=6704226 4 Bundesministerium für Wirtschaft und Energie (BMWi) (2017). „Weissbuch – Digitale Plattformen“, https://www.bmwi.de/Redaktion/DE/Publikationen/Digitale-Welt/weissbuch-digitale-plattformen .pdf?__blob=publicationFile&v=22 Wissenschaftliche Dienste Sachstand WD 8 - 3000 - 031/17 Seite 5 Kybernetik, die Wissenschaft von Information und Kontrolle, untersucht diese Prozesse“.5 Algorithmen gelten rechtlich nicht als schutzfähig. 3. Anwendungsbeispiele für Algorithmen6 Es gibt eine Vielzahl verschiedener Arten und Anwendungsfelder von Algorithmen und deren Kombinationen. Grundlage für immer komplexere und schnellere Algorithmen bietet eine wachsende Datenbasis. Im Zeitalter von Big Data überführen Programmierer Informationen in Regeln, Abfragen und Kommandos, die nach Datenvergleich und Musteranalyse Ergebnisse liefern. Die Algorithmen sind in der Regel nicht öffentlich verfügbar und aufgrund der fehlenden Transparenz ist deren Einordnung nicht möglich. 3.1. Suchmaschinenalgorithmen Algorithmen ermitteln beispielsweise bei der Suchmaschinensuche die Platzierung in der Trefferliste . Bei der Google-Suche bestimmen etwa 200 „Signale“ das Suchmaschinenranking, das Page Rank, d.h. wie weit oben in der Suchliste der Eintrag steht. Diese Signale sind z.B. Suchwörter im Titel der Seite, Häufigkeit des Suchwortes, Aktualisierung der Seite, Impressum, Sprachniveau oder Links von sozialen Netzwerken. Parallel dazu können Nutzer die Werbung, die Google bei der Suche einblendet, mittels eigener Profilangaben personalisieren.7 Über diese Angaben kann ein Profil der Interessen und Vorlieben der Nutzer gewonnen werden, das für weitere Algorithmen als Datenbasis dient. Eine Offenlegung der Algorithmen kann dazu führen, dass jeder mit den gleichen Methoden auf die besten Plätze im Ranking strebt. 3.2. Facebook-Newsfeed-Algorithmus Facebook bringt Newsfeeds in eine Reihenfolge und entscheidet über das Was oder was der Nutzer zuerst liest. In seinem „EdgeRank“ verbindet Facebook Menschen und Objekte. Die Algorithmen bewerten beispielsweise, wie oft Nutzer eine Nachricht liken, kommentieren oder teilen. Der „Last Actor“-Faktor berücksichtigt die letzten 50 Interaktionen des Nutzers besonders stark. Testleser bewerten und sortieren die Newsfeeds nach vorgegebenen Kriterien. Das „Story Bumping“ zeigt besonders wichtige Nachrichten, die auch vor dem letzten Einloggen schon angezeigt wurden . Algorithmen erarbeiten, welche Nachrichten der Nutzer zuerst angeboten bekommt. 5 Hofstetter, Y., Spektrum der Wissenschaft (2015). „Wenn intelligente Maschinen die digitale Gesellschaft steuern “, http://www.spektrum.de/kolumne/wenn-intelligente-maschinen-die-digitale-gesellschaft-steuern/1375921 6 Spehr, Michael, Frankfurter Allgemeine Zeitung (2017). „Algorithmen fallen nicht vom Himmel“ vom 18.7.2017, Seite T1 Dworschak, M. (2017). „Die Kassandra von Gelhausen“, Der Spiegel 6/2017, Seite 98 Drösser, Christoph (2016). „Total berechenbar“, Carl Hanser Verlag, München 2016 7 Personalisierung der Google-Werbung auf http://www.google.com/ads/preferences/ Wissenschaftliche Dienste Sachstand WD 8 - 3000 - 031/17 Seite 6 3.3. Kürzeste-Wege-Algorithmen Für Beruf und Freizeit unerlässlich gewordene Helfer, suchen Kürzeste-Wege-Algorithmen den kürzesten, schnellsten oder landschaftlich schönsten Weg. Anwendungen wie „Google-Maps“ oder „Komoot“ können auch bei diesen Anwendungen ein Profil des Nutzers erstellen und die Daten bei zukünftigen Planungen berücksichtigen oder zur Optimierung ihrer Algorithmen nutzen . Navigationsgeräte arbeiten bei Routenplanung nach den mathematischen Regeln der Graphentheorie. 3.4. Matching-Algorithmen Diese Art der Algorithmen sucht nach der idealen Paarung von Stichworten nach angegebenen Kriterien, wie z.B. Titel und Zeitung, oder etwa nach Persönlichkeitsmerkmalen bei der Partnersuche . 3.5. People Analytics Unter den Begriff „People Analytics“ fallen Algorithmen zur Personalisierung bzw. Profilerstellung der einzelnen Nutzer. Die Programme filtern, bewerten und sortieren Nutzerdaten, wie z.B. das Verhalten der Netflix- oder Spotify-Nutzer, um z.B. Kaufempfehlungen geben zu können. 3.6. Empfehlungsalgorithmen Empfehlungsalgorithmen sind meist Kombinationen von kollaborativen und inhaltsbasierten Filtern, wie z.B. Cinematch des Videoportals Netflix. Die Filme werden hier nicht nur in Genre unterteilt, sondern auch in eine stetig wachsende Zahl von Attributen wie „mit Happy End“, „bestimmte Schauspieler“, „unter 12 Jahren zugelassen“, „meist von Frauen ausgewählt“ usw. 3.7. Analyse-Algorithmen Beim „Predictive Policing“ berechnen algorithmisch gesteuerte automatisierte Entscheidungsprozesse , also Computerprogramme, die Rückfallwahrscheinlichkeit von Straftätern. Ein Beispiel aus den USA ist die Berechnung der Rückfallquote von Einbrechern mit Hilfe der Software COMPAS. Banken verwenden Algorithmen zur Berechnung eines Kredit-Scorings, einer Ziffer, die die Kreditwürdigkeit einer Person beschreibt. Auch die „Schufa“ lässt die Bonität von Kunden mittels Algorithmen einschätzen. Auch Verwaltungen verwenden Algorithmen. Beispielsweise werden zur Bewertung von Stelleninhabern algorithmische Verfahren eingesetzt. 3.8. „Blockchain“-Algorithmus Bitcoin setzt beispielsweise einen sogenannten Blockchain-Algorithmus im Finanzbereich ein. Blockchain ist eine kryptografisch verbundene Kette von Blöcken. Die Blöcke werden in einem bestimmten Zeitintervall erstellt und enthalten Transaktionen, die die Teilnehmer des Verfahrens als Wissenschaftliche Dienste Sachstand WD 8 - 3000 - 031/17 Seite 7 ausgeführt akzeptieren bzw. bei Erhalt eines Blockes diese als akzeptiert gilt. Damit wird die Transaktion fester Bestandteil eines Art Transaktionenbuches. Alle Teilnehmer besitzen eine Kopie davon. In der kryptografischen Kette wird der Hashwert8 des vorangegangenen Datensatzes im jeweils nachfolgenden gespeichert und so die Kette und die einzelnen Transaktionen gegen nachträgliche Manipulation gesichert.9 Die Sicherheit des Systems steht zur Diskussion.10 Im Energiesektor soll der Blockchain-Algorithmus als Basis für ein dezentrales System aus vielen tausend Pufferbatterien dienen11. 3.9. Künstliche Intelligenz und selbstlernende Algorithmen Der Ansatz des Deep Learning wird mit Künstlicher Intelligenz (KI) verknüpft. Das heißt, die seit Jahrzehnten bekannte Technik der künstlichen neuronalen Netze (Deep Learning) wird mit der Vorgabe von Regeln und mit Big Data verknüpft. So gibt es z.B. einen lernfähigen Algorithmus (Firma Teramark), der Finanzexperten hilft, das Risiko schwankender Wechselkurse zu kalkulieren12. Aber auch in allen anderen gesellschaftlichen Bereichen gewinnen selbstlernende Algorithmen an Bedeutung. Ein Teil der Entwickler hält selbstlernende Algorithmen bzw. Künstliche Intelligenz für die grundlegende Gefahr der heutigen Gesellschaft (s.a. Kapitel 6). 3.10. Simulations-Algorithmen Forscher setzen u.a. zwei Techniken für Simulationen ein. Die Verifikation prüft, ob das Modell die richtigen Gleichungen korrekt gelöst hat, und die Validierung testet, ob die Ergebnisse der Si- 8 Der Hashwert ist eine Zeichenkette, die mit Hilfe einer Hashfunktion, einem kryptografischen Algorithmus, erzeugt wird. Deutsches Ausschreibungsblatt (2017). „Hashwert“, https://www.deutsches-ausschreibungsblatt.de/da/service /glossar/hashwert/ 9 Roßbach, P. (2016). „Blockchain-Technologie und ihre Implikationen“, http://blog.frankfurt-school.de/blockchain -technologien-konsens-mechanismen/?lang=de 10 Reintjes, T., Deutschlandfunk, (2017). „Visionen und Wahrheiten aus der Blockchain Entwicklung“, http://www.deutschlandfunk.de/die-welt-veraendern-visionen-und-wahrheiten-aus-der.740.de.html?dram:article _id=378079 11 Mattke, S. (2016) „Stabil mit Blockchain“, https://www.heise.de/tr/artikel/Stabil-mit-Blockchain-3716940.html 12 Dworschak, M. (2017). „Die Kassandra von Gelhausen“, Der Spiegel 6/2017, Seite 98 Wissenschaftliche Dienste Sachstand WD 8 - 3000 - 031/17 Seite 8 mulation zu Messergebnissen aus der Realität passen. Ein Beispiel für den Test von Klimamodellen ist das Hindcasting. Dabei werden die Modelle retrograd getestet. Erreichen die Modelle nicht die gemessenen Werte, stimmen die Simulationsrechnungen für die Zukunft ebenfalls nicht.13 Nicht alle Algorithmen erstellen Profile ihrer Nutzer. Auch Steuergeräte und Sensoren in Industrie und privaten Haushalten nutzen Algorithmen. 4. Politische Anwendungsfelder14 Mögliche politische Anwendungsfelder, in denen komplexe Algorithmen eingesetzt werden, betreffen fast alle Bereiche, wie zum Beispiel: Wirtschaft und Finanzen (Handel mit Waren, Dienstleistungen und Aktien) Rechtsfindung, -anwendung, -zugang und -verwaltung (Legal Tech) Gesundheit (Robotik im Operationssaal, in der Altenpflege und Diagnostik) Arbeitswelt (Industrieroboter, Automatisierungsprozesse in Personalauswahl und -management , Crowdworking-Plattformen wie Uber, Airbnb u.a.) Sicherheitsbehörden (Predictive Policing, Grenzkontrolle, Sicherheit) Öffentliche Verwaltung (z.B. Steuererklärung/-bescheide) Verkehr (automatisiertes und autonomes Fahren, Autopiloten im Flugzeug, Verkehrssteuerung , Logistikplanung, Drohnen) Bildung (Schulung, Informatikunterricht, Leistungsbeurteilung) Forschung (alle Arten von komplexen Modellierungen, z.B. in der Klimaforschung) Verbraucherschutz (Kaufempfehlungen, Testportale, Roboter zum Staubsaugen und Rasenmähen , persönliche Assistenten wie Alexa, Siri) 5. Risiken15 In der aktuellen Diskussion äußern sich Experten unterschiedlicher Disziplinen zu Risiken und Problemen, die durch den Einsatz von Algorithmen entstehen können. Forderungen in Schlagworten sind beispielsweise: 13 Schrader, Christoph, Spektrum der Wissenschaft, (2017). „Computermodelle – Wahrheit aus der Maschine, http://www.spektrum.de/news/wahrheit-aus-der-maschine/1483283?utm_source=zon&utm_medium =teaser&utm_content=news&utm_campaign=ZON_KOOP 14 Jaume-Palasí, L., Pohle, J.,Spielkamp, M.(Hg.) (2017). „Digitalpolitik-Eine Einführung“, Berlin: Wikimedia Deutschland e.V. und iRights.international, 2017, https://www.wzb.eu/sites/default/files/u8/digitalpolitik .eine_einfuehrung-2.pdf Spektrum der Wissenschaft (2017). „Willkommen in der Datenwelt“, Spektrum der Wissenschaft Spezial Heft 1/2017 15 Spehr, Michael, Frankfurter Allgemeine Zeitung (2017). „Algorithmen fallen nicht vom Himmel“ vom 18.7.2017, Seite T1 Wissenschaftliche Dienste Sachstand WD 8 - 3000 - 031/17 Seite 9 Der Rassismus soll nicht im Algorithmus liegen. Ein Absinken der Diversität der Meinungen bzw. der Meinungsvielfalt, verursacht durch die Dichte der Echoblasen (Echokammern/Filterblasen/filter bubble), vermeiden. „Code is law“ – Gedanke, d.h. nur der Programmcode hat Rechtswirkung Netzneutralität gewährleisten und digitale Diskriminierung und vorurteilbehaftetes Programmieren verhindern, weitreichende Diskriminierungsverbote (keinen Kunden bevorzugen oder benachteiligen, Influencer-Marketing enttarnen)16. Digitalisierung in Deutschland ist von zu geringen Chancen und von zu viel Ängsten geprägt .17 Algorithmische Voreingenommenheit im Code verhindern (Machine bias/Algorithmic Bias). Technische Manipulationen durch bots, insbesondere Social Bots (Software, die in sozialen Netzwerken als User getarnt ist) enttarnen. Obfuscation (verwirrende Datenspuren/-profile erzeugen bzw. Anti-Algorithmen-Streiche spielen). Nudging (positive Beeinflussung menschlichen Verhaltens) bzw. Big Nudging (Kombination von Big Data und Nudging) enttarnen. 6. Algorithmen in der aktuellen politischen Diskussion Computerprogramme gelten als urheberrechtlich geschütztes Werk, aber reine Rechenregeln, wie Algorithmen, gelten nicht als schutzfähig. Ein Teil der Experten fordert, Algorithmen offen zu legen, transparent zu machen und demokratischer Kontrolle zu unterwerfen. Sie fordern eine Publikationspflicht für Algorithmen. Manche Experten fordern, statt über Datenauswahl und Datenbasis von Algorithmen zu diskutieren über die Zweckbindung von Daten nachzudenken. Beispielsweise sollte über Spielregeln und Grenzen diskutiert werden. Unternehmen sollten z.B. belegen , dass ein System so funktioniert wie behauptet.18 Spektrum der Wissenschaft (2017). „Willkommen in der Datenwelt“, Spektrum der Wissenschaft Spezial Heft 1/2017 Öffentliches Fachgespräch des Ausschusses für Bildung, Forschung und Technikfolgenabschätzung zu „Social Bots“ am 26. Januar 2017 16 Verordnung (EU) 2015/2120 des Europäischen Parlaments und des Rates (Netzneutralitätsverordnung der EU) http://eur-lex.europa.eu/legal-content/DE/TXT/?uri=celex%3A32015R2120 17 Siems, D., Die Welt (2017). „Gefangen im Netz“, Die Welt, Seite 10 vom 31.7.2017 18 Gigerenzer, G., Spektrum der Wissenschaft (2015). Technik braucht Menschen, die sie beherrschen“, http://www.spektrum.de/kolumne/technik-braucht-menschen-die-sie-beherrschen/1375950?_druck=1 Richtlinie 2009/24/EG des Europäischen Parlaments und des Rates vom 23. April 2009 über den Rechtsschutz von Computerprogrammen, s. Grund Nr. (11), http://eur-lex.europa.eu/legal-content /DE/TXT/?qid=1502376959469&uri=CELEX:32009L0024 Wissenschaftliche Dienste Sachstand WD 8 - 3000 - 031/17 Seite 10 6.1. Ausschuss Digitale Agenda Der Ausschuss Digitale Agenda hat u.a. am 22. März 2017 ein Fachgespräch zum Thema „Künstliche Intelligenz und Robotik“ durchgeführt19. Zusammenfassend heißt es im Protokoll: „Die Mehrheit der Sachverständigen war der Meinung, dass die technologische Entwicklung eine Neuregelung von Haftungsfragen und Versicherungsmodellen erfordere. Als weiteres zentrales Problem benannten sie den Datenschutz. Gleichzeitig plädierten sie dafür, die Chancen künstlicher Intelligenz zu würdigen und zu fördern.“20 6.2. Ausschuss für Bildung, Forschung und Technikfolgenabschätzung21 Die Sachverständigen des Fachgesprächs22 im Ausschuss für Bildung, Forschung und Technikfolgenabschätzung haben das Thema „Social Bots“ aus unterschiedlichen Perspektiven beleuchtet. Die Erstellung von Social Bots sei legal, bestimmte Anwendungen seien es nicht23. Zum Fachgespräch hat das Büro für Technikfolgenabschätzung beim Deutschen Bundestag ein Thesenpapier 24 erstellt. Eine Zusammenfassung der Veranstaltung liefert das TAB in seiner Vorstudie25: Sachverständige meinen, dass es mehr Untersuchungen bedarf, um zu gesicherten Erkenntnissen zu gelangen. Sie schlugen eine Verbesserung des Datenzugangs für wissenschaftliche Datenerhebungen bei den Medien vor.26 Die Experten meinen, dass Effekte zur Beeinflussung der politischen Willensbildung bisher kaum nachweisbar seien und die Bedeutung der Social Bots überschätzt sei. Das Problem der Echoblase, der auf den Nutzer zugeschnittenen Nachrichten, die eine gemeinsame Information verhindern, bestehe aber tatsächlich. Zum einen vertraten die 19 Fragenkatalog für das Fachgespräch zum Thema „Künstliche Intelligenz“ des Ausschusses Digitale Agenda am 22. März 2017, BT-Drs 18(24)SB41 20 Deutscher Bundestag (2017) „Experten sehen Regelungsbedarf“, http://www.bundestag.de/presse/hib/2017_03/- /499740, hib 188/2017 21 Büro für Technikfolgenabschätzung beim Deutschen Bundestag (TAB) (2017). TA-Vorstudie: “Social Bots”, https://www.bundestag.btg/Aktuelles/Vorstudie_Social_Bots.pdf Das TAB plant ein TAB-Gutachten ab August 2017 bis 2018: „Algorithmen in digitalen Medien und ihr Einfluss auf die Meinungsbildung“, Vorlage des Gutachtens beim TAB bis 31.03.2018 22 Öffentliches Fachgespräch des Ausschusses für Bildung, Forschung und Technikfolgenabschätzung zu „Social Bots“ am 26. Januar 2017 23 Büro für Technikfolgenabschätzung beim Deutschen Bundestag (TAB) (2017). TA-Vorstudie: “Social Bots” S. 39, https://www.bundestag.btg/Aktuelles/Vorstudie_Social_Bots.pdf 24 Büro für Technikfolgenabschätzung beim Deutschen Bundestag (TAB) (2017). Thesenpapier “Social Bots”, https://www.tab-beim-bundestag.de/de/aktuelles/20161219/Social%20Bots_Thesenpapier.pdf 25 Büro für Technikfolgenabschätzung beim Deutschen Bundestag (TAB) (2017). TA-Vorstudie “Social Bots” S. 55, https://www.bundestag.btg/Aktuelles/Vorstudie_Social_Bots.pdf 26 Deutscher Bundestag (2016). „Wirkung von „Social Bots“ ist unter Sachverständigen strittig“, http://www.bundestag .de/dokumente/textarchiv/2017/kw04-pa-bildung-forschung-social-bots/488818 Wissenschaftliche Dienste Sachstand WD 8 - 3000 - 031/17 Seite 11 Sachverständigen die Meinung, dass die politische Diskussion vom Vertrauensverlust der Bürger ablenken wolle, zum anderen forderten die Experten die Kennzeichnungspflicht für Social Bots. Roboter müssten ähnliche Rechte und Pflichten haben, wie sie die Rechtsordnung für eine natürliche Person vorsehe. Gegner dieses Ansatzes befürchten, dass durch Kennzeichnung und Verbote eine Ausweichbewegung entsteht. Eine weitere Expertenmeinung schlägt die Verbesserung der Netzkompetenz der Nutzer durch Bildung im Sinne einer „Digital Literacy“27 vor. Die Experten fordern die mediale Aufklärung aller Nutzer, insbesondere mehr Informatik-Unterricht an den Schulen. 6.3. Politische Koordination zur Politik der Digitalen Agenda Drei Ministerien koordinieren das im Jahr 2014 von der Bundesregierung beschlossene Strategiepapier „Digitale Agenda 2014-2017“28. Das Bundesministerium für Wirtschaft und Energie (BMWi), das Bundesministerium des Innern (BMI) und das Bundesministerium für Verkehr und digitale Infrastruktur (BMVI) teilen sich die Aufgaben. Weitere Ministerien arbeiten im Rahmen ihrer Zuständigkeit an Themenbereichen der Digitalisierung. Das Bundesministerium für Bildung und Forschung hat beispielsweise ein Internet-Forschungsinstitut gegründet, in dem interdisziplinäre Fragestellungen zur Digitalisierung erforscht werden sollen.29 Das Bundesministerium für Wirtschaft und Energie hat ein Grünbuch und Weißbuch zu digitalen Plattformen30 und zahlreiche Stellungnahmen zum Grünbuch veröffentlicht31. In einem Gastbeitrag in der Zeitschrift „Die Zeit“ hat der Bundesjustizminister einen Vorschlag für eine Internet-Charta beschrieben und in deren Artikel 4 „Kein Mensch darf zum Objekt eines Algorithmus werden“ einen Algorithmen-TÜV gefordert: “In Zeiten von Big Data werden aus Analysen vergangenen Verhaltens Prognosen für die Zukunft erstellt. Aber der Mensch ist mehr als sein Datenprofil und menschliches Verhalten lässt sich nicht wertneutral berechnen. Jeder Algorithmus basiert auf Annahmen, die falsch oder gar diskriminierend sein können. Wir brauchen deshalb einen Algorithmen-TÜV, der die Lauterkeit der Programmierung gewährleistet und 27 Digital Literacy = Digitalkompetenz. Die Fähigkeit der Nutzer, die über Computer und Internet dargestellten Informationen unterschiedlicher Formate und Herkunft verstehen und anwenden zu können. 28 Bundesregierung (2014). „Digitale Agenda 2014-2017“, https://www.digitale-agenda.de/Content/DE/_Anlagen /2014/08/2014-08-20-digitale-agenda.pdf?__blob=publicationFile&v=6 29 Bundesministerium für Bildung und Forschung (BMBF) (2015). „Startschuss für das neue Internet-Institut“, https://www.bmbf.de/de/startschuss-fuer-das-neue-internet-institut-1336.html 30 Bundesministerium für Wirtschaft und Energie (BMWi) (2016). „Grünbuch – Digitale Plattformen“, https://www.bmwi.de/Redaktion/DE/Publikationen/Digitale-Welt/gruenbuch-digitale-plattformen .pdf?__blob=publicationFile&v=20 Bundesministerium für Wirtschaft und Energie (BMWi) (2017). „Weissbuch – Digitale Plattformen“, https://www.bmwi.de/Redaktion/DE/Publikationen/Digitale-Welt/weissbuch-digitale-plattformen .pdf?__blob=publicationFile&v=22 31 Bundesministerium für Wirtschaft und Energie (BMWi) (2016). Stellungnahmen zum Grünbuch – Digitale Plattformen https://gruenbuch.de.digital/de/stellungnahmen/index.html Wissenschaftliche Dienste Sachstand WD 8 - 3000 - 031/17 Seite 12 auch sicherstellt, dass unsere Handlungs- und Entscheidungsfreiheit nicht manipuliert wird. Maschinen haben keine eigene Ethik und empfinden keine Empathie. Nachteilige Entscheidungen dürfen daher nicht allein von Algorithmen getroffen werden. Wir dürfen nicht blind auf Statistiken und Big Data vertrauen, denn eine richtige Entscheidung muss nicht nur effizient, sondern auch gerecht sein.“32 Im Rahmen des Förderprogramms „Kompetenzzentren für den intelligenten Umgang mit großen Datenmengen (Big Data)“ wird das Forschungsvorhaben „ScaDS Dresden/Leipzig - Competence Center for Scalable Data Services and Solutions“ vom Bundesministerium für Bildung und Forschung (BMBF) gefördert. Thematisch beschäftigt sich das Kompetenzzentrum mit Fragestellungen aus den Bereichen der Akquise, Handhabung und Verwertung großer Datenbestände für ein breites Anwenderspektrum.33 Ein weiteres vom BMBF gefördertes Forschungsvorhaben behandelt die „Algorithmenkontrolle im "Internet der Dinge" als verbraucherpolitischer Schutzmechanismus“.34 6.4. Digitale Agenda im europäischen Kontext Im Jahr 2010 hat die Europäische Union die Digitale Agenda 2020 verabschiedet. Die EU-Kommission arbeitet mit den entsprechenden Generaldirektionen wie „Datenschutz“ oder „Justiz und Verbraucherschutz“ zusammen. Das Prinzip der Netzneutralität ist 2016 verabschiedet worden. Das Europäische Parlament hat 2017 eine Entschließung zu Big Data verabschiedet. Der der Entschließung zugrunde liegende Bericht betrachtet die Folgen von Massendaten für die Grundrechte im Hinblick auf Privatsphäre, Datenschutz, Nichtdiskriminierung, Sicherheit und Rechtsdurchsetzung und fordert klare Regeln und die Definition von Standards zur Anonymisierung und Softwarehaftung, um das Recht auf freie Meinungsäußerung, Privatsphäre, Datenschutz und Datensicherheit zu schützen.35 32 Maas, H. (2015). „Unsere digitalen Grundrechte“, Die Zeit- online vom 10.12.2015, http://www.zeit.de/2015/50/internet-charta-grundrechte-datensicherheit, http://www.bmjv.de/SharedDocs/Interviews /DE/2015/Namensartikel/12092015_DieZeit.html%20Auszug%20Artikel%204 33 Competence Center for Scalable Data Services and Solutions, https://www.scads.de/de/ 34 Deutsches Forschungsinstitut für öffentliche Verwaltung Speyer (2017). „Algorithmenkontrolle im "Internet der Dinge" als verbraucherpolitischer Schutzmechanismus“ (AlgoKon, Förderkennzeichen 28V22003) 35 Europäisches Parlament (2017). „Bericht über die Folgen von Massendaten für die Grundrechte: Privatsphäre, Datenschutz, Nichtdiskriminierung, Sicherheit und Rechtsdurchsetzung (2016/2225(INI))“, http://www.europarl .europa.eu/sides/getDoc.do?pubRef=-//EP//TEXT+REPORT+A8-2017-0044+0+DOC+XML+V0//DE Schulzki-Haddouti, Ch., heise online (2017).„EU-Parlament fordert klare Standards für Big Data“, https://www.heise.de/newsticker/meldung/EU-Parlament-fordert-klare-Standards-fuer-Big-Data-3653706.html Wissenschaftliche Dienste Sachstand WD 8 - 3000 - 031/17 Seite 13 Mit der Europäischen Richtlinie „Market in Financial Instruments“ (MiFID II) werden beispielsweise Berichts- und Protokollpflichten für die Aktivität von Algorithmen im Hochfrequenzhandel geschaffen.36 37 6.5. Beispiele zu nationalen und internationalen Initiativen und Forschungsaktivitäten Das Themenspektrum Algorithmen, Big Data und Künstliche Intelligenz steht derzeit im Fokus vieler nationaler und internationaler Forschungsinitiativen. Da diese Themen sämtliche gesellschaftlichen Bereiche betreffen, sehen die Akteure in nahezu allen Handlungsfeldern Forschungsbedarf . 38 Das Fraunhofer Institut für Algorithmen und Wissenschaftliches Rechnen (SCAI) entwickelt kundenorientierte Anwendungen und betreibt Forschung mit dem Schwerpunkt Arithmetik.39 Das Fraunhofer Institut für Intelligente Analyse- und Informationssysteme (IAIS) bietet einen Algorithmen -Check zur Optimierung bestehender Algorithmen an.40 Die Initiative AlgorithmWatch und verschiedene Landesmedienanstalten haben im Juli 2017 ein Forschungsprojekt gestartet, das den Einfluss von Algorithmen auf die anstehende Bundestagswahl untersucht.41 Auch der Deutsche Ethikrat befasst sich mit den Bereichen Big Data, Algorithmen, insbesondere mit dem Themenbereich des Autonomen Fahrens.42 36 Europäisches Parlament (2017). „Digitale Agenda für Europa“, http://www.europarl.europa.eu/atyourservice /de/displayFtu.html?ftuId=FTU_5.9.3.html und http://eur-lex.europa.eu/legal-content/DE/TXT/?uri=LE- GISSUM%3Asi0016 37 Meinungsbarometer.Info (2017). „Unkontrollierbare Algorithmen als Regelfall?“, https://meinungsbarometer .info/beitrag/Unkontrollierbare-Algorithmen-als-Regelfall_2276.html 38 s.a. Jaume-Palasí, L., Pohle, J.,Spielkamp, M.(Hg.) (2017). „Digitalpolitik-Eine Einführung“, Berlin: Wikimedia Deutschland e.V. und iRights.international, 2017, https://www.wzb.eu/sites/default/files/u8/digitalpolitik .eine_einfuehrung-2.pdf Seite 8, 10 und 12 39 Fraunhofer Institut für Algorithmen und Wissenschaftliches Rechnen (SCAI) (2017). „Fraunhofer SCAI“, https://www.scai.fraunhofer.de/ 40 Fraunhofer Institut für Intelligente Analyse- und Informationssysteme (IAIS) (2017). „Algorithmen-Check“, https://www.iais.fraunhofer.de/de/geschaeftsfelder/bildverarbeitung/uebersicht/algorithmen-check.html 41 Bayrische Landeszentrale für neue Medien (BLM) (2017). Pressemitteilung zum Projekt #Datenspende, https://www.blm.de/infothek/pressemitteilungen/2017.cfm?object_ID=7882&sCriteria=datenspende AlgorithmWatch (2017). #Datenspende – 1. Zwischenstand, https://algorithmwatch.org/de/datenspende-1-zwischenstand / 42 Deutscher Ethikrat (2017). Jahrestagung Autonome Systeme, http://www.ethikrat.org/veranstaltungen/jahrestagungen /autonome-systeme http://www.ethikrat.org/dateien/pdf/jt-21-06-2017-zweig.pdf Wissenschaftliche Dienste Sachstand WD 8 - 3000 - 031/17 Seite 14 Mit der Erarbeitung des Digitalen Manifests haben neun Experten verschiedener Disziplinen zehn Grundprinzipien als Vorschlag für Regulierungsmaßnahmen gemacht und deren Einhaltung gefordert. Sie fordern u.a., Informationssysteme stärker zu dezentralisieren, informationelle Selbstbestimmung zu unterstützen, Transparenz zu verbessern, von Nutzern gesteuerte Informationsfilter zu ermöglichen, kollektive Intelligenz zu unterstützen und mit der Förderung der Mündigkeit der Bürger in der digitalen Welt eine „digitale Aufklärung“.43 Der Verband der Verbraucherzentralen fordert einen Algorithmen-TÜV insbesondere für die Bereiche des autonomen Fahrens.44 Die Bertelsmann Stiftung schlägt in ihrem Arbeitspapier „Digitale Öffentlichkeit“ als mittelfristiges Ziel u.a. eine Berufsethik für Entwickler algorithmischer Entscheidungssysteme als effektive Interventionsmöglichkeit für die Plattformbetreiber vor.45 Das Büro für Technikfolgenabschätzung beim Deutschen Bundestag plant ein TAB-Gutachten, das in der Zeit von August 2017 bis 2018 erstellt werden soll: „Algorithmen in digitalen Medien und ihr Einfluss auf die Meinungsbildung“, Vorlage des Gutachtens beim TAB soll bis 31.03.2018 erfolgen.46 Ein Beispiel für private bzw. Non-Profit-Organisationen ist die „AI-Now-Initiative“, die sich u.a. mit den Auswirkungen Künstlicher Intelligenz auf soziale und wirtschaftliche Bereiche beschäf- Deutscher Ethikrat (2015). „BigData”, http://www.ethikrat.org/themen/forschung-und-technik/big-data 43 Helbing, D., Frey, B.S., Gigerenzer, G., (2016). „ Digitale Demokratie statt Datendiktatur“, Spektrum der Wissenschaft , 1/2016, Seite 58 44 Bundesverband der Verbraucherzentralen (2017). „Algorithmen-TÜV für Autosoftware“, http://www.vzbv.de/pressemitteilung/algorithmen-tuev-fuer-autosoftware Meinungsbarometer.Info (2017). „Unkontrollierbare Algorithmen als Regelfall?“, https://meinungsbarometer .info/beitrag/Unkontrollierbare-Algorithmen-als-Regelfall_2276.html 45 Bertelsmann Stiftung (2017). Arbeitspapier „Digitale Öffentlichkeit“, S. 64, https://www.bertelsmann-stiftung .de/de/publikationen/publikation/did/digitale-oeffentlichkeit/ 46 Büro für Technikfolgenabschätzung beim Deutschen Bundestag (TAB) (2017). “Algorithmen in digitalen Medien und ihr Einfluss auf die Meinungsbildung”,http://www.tab-beim-bundestag.de/de/gutachter/g40100.html Wissenschaftliche Dienste Sachstand WD 8 - 3000 - 031/17 Seite 15 tigt. Der „AI-Now-Report 2016“ befasst sich insbesondere mit den kurzfristig möglichen Auswirkungen . 47 48 Im Jahr 2016 veröffentlichte das Weiße Haus einen Report zu „Künstlicher Intelligenz , Automatisierung und Wirtschaft“, in dem die Autoren auch politischen Handlungsbedarf festgestellt haben.49 Professionelle Organisationen wie z.B. die Association for the Advancement of Artificial Intelligence (AAAI)50 oder das Massachusetts Institute of Technology (MIT), insbesondere das MIT Computer Science and Artificial Intelligence Laboratory (CSAIL)51, befassen sich mit den Themenfeldern zur Künstlichen Intelligenz. Mit der Non-Profit Organisation “Open AI” verbindet einer ihrer Initiatoren den freien Austausch ihrer Patente und Entwicklungsergebnisse mit anderen Forschern und Entwicklern, um den größtmöglichen Nutzen für die Gesellschaft zu erreichen und der „existentiellen Gefahr für die Gesellschaft, die ihr durch KI entsteht“, entgegen zu wirken.52 Im Sommer 2017 findet in Deutschland eine internationale Tagung zum Themenspektrum "Web Intelligence" unter Mitwirkung des Institute of Electrical and Electronics Engineers (IEEE) und der Association for Computing Machinery (ACM) statt.53 7. Fazit Wissenschaftlich fundiertes Wissen, Transparenz, ethische Bewertung, demokratische Kontrolle und Aufklärung der Nutzer sind Grundvoraussetzung im Umgang mit digitalen Medien in einer 47 Knight, W., Technology Review (2017). „Das Problem der diskriminierenden Algorithmen“, https://www.heise.de/tr/artikel/Das-Problem-der-diskriminierenden-Algorithmen-3780753.html 48 AI-Now-Initiative (AI) (2016). “The AI Now Report The Social and Economic Implications of Artificial Intelligence Technologies in the Near-Term”, https://artificialintelligencenow.com/media/documents/AINowSummary Report_3_RpmwKHu.pdf 49 The White House (2016). “Artificial Intelligence, Automation, and the Economy”, https://obamawhitehouse.archives .gov/blog/2016/12/20/artificial-intelligence-automation-and-economy 50 Homepage der Association for the Advancement of Artificial Intelligence (AAAI), http://www.aaai.org/ 51 Homepage des MIT Computer Science and Artificial Intelligence Laboratory (CSAIL), https://www.csail.mit.edu/ 52 Homepage OpenAI, https://openai.com/about/ Tanriverdi, H. Süddeutsche Zeitung (2015) “So will Elon Musk künstliche Intelligenz bändigen”, http://www.sueddeutsche.de/digital/open-ai-so-will-elon-musk-kuenstliche-intelligenz-baendigen-1.2780064 BBC News (2015). „Tech giants pledge $1bn for 'altruistic AI' venture, OpenAI “, http://www.bbc.com/news/technology-35082344 53 WebIntelligence WI 2017, http://webintelligence2017.com/ Wissenschaftliche Dienste Sachstand WD 8 - 3000 - 031/17 Seite 16 digitalisierten Welt. Um einen informierten Umgang mit modernen Technologien zu erreichen, fordern Experten den Aufbau einer digitalen Risikokompetenz der Anwender. Analysen und Studien zu den Auswirkungen des Einsatzes von Algorithmen auf soziale, politische , ökonomische und kulturelle Bereiche und deren Optimierung in Effizienz und Schnelligkeit bestimmen die Forschungsthemen. Der geforderte Regelungsbedarf erstreckt sich über ein weites Spektrum. Bei Algorithmen, die beispielsweise Listen ordnen, sei weniger Handlungsbedarf von Nöten als bei den selbstlernenden Algorithmen des autonomen Fahrens. Auch fordern Experten eine Transparenz der Daten und den Zugriff für Wissenschaft und Regulierungsbehörden . Vorschläge für eine konkrete Ausgestaltung insbesondere der organisatorischen Umsetzung solcher und anderer Forderungen müssen konsolidiert und für alle Disziplinen koordiniert und abgestimmt werden. Die erhobenen Forderungen betreffen auch die Sicherung der Prinzipien zur informellen Selbstbestimmung und die Identifizierung und Veröffentlichung der als problematisch eingestuften Algorithmen . Auch die Arbeitsplatzsituation soll sich durch den Einsatz von Algorithmen ändern. Die „Welt“ zitiert in einem Artikel das Beratungsunternehmen McKinsey-Partner. Demnach sollen kognitive Technologien 20 bis 30 Prozent der Mitarbeiter ersetzen, die im Bereich von Handelsgeschäften arbeiten.54 Ein Artikel aus der Zeitschrift „Spektrum der Wissenschaft“ geht sogar noch weiter und prognostiziert, dass in den kommenden zehn bis zwanzig Jahren die Hälfte der heutigen Jobs verdrängt werden könnten und 40 % der Top-500-Firmen in einem Jahrzehnt verschwunden sein werden.55 Eine Sensibilisierung der Nutzer für Prozesse und Mechanismen der Digitalisierung im Allgemeinen und für Desinformationsversuche insbesondere scheint zukünftig unerlässlich. 8. Quellen und weiterführende Literatur AI-Now-Initiative (AI) (2016). “The AI Now Report The Social and Economic Implications of Artificial Intelligence Technologies in the Near-Term”, https://artificialintelligencenow.com/media /documents/AINowSummaryReport_3_RpmwKHu.pdf AlgorithmWatch (2017). #Datenspende – 1. Zwischenstand, https://algorithmwatch.org/de/datenspende -1-zwischenstand/ 54 Die Welt (2017). „Computer nehmen Banken die Arbeit ab“, Seite 13, vom 26.7.2017 55 Helbing, D., Frey, B.S., Gigerenzer, G., (2016). „ Digitale Demokratie statt Datendiktatur“, Spektrum der Wissenschaft , 1/2016, Seite 51 Wissenschaftliche Dienste Sachstand WD 8 - 3000 - 031/17 Seite 17 Bayrische Landeszentrale für neue Medien (BLM) (2017). Pressemitteilung zum Projekt #Datenspende , https://www.blm.de/infothek/pressemitteilungen/2017.cfm?object_ID=7882&sCriteria =datenspende BBC News (2015). „Tech giants pledge $1bn for 'altruistic AI' venture, OpenAI “, http://www.bbc.com/news/technology-35082344 Beer, C., heise online (2016) “ #heiseshow: Ab 12 Uhr live zur Macht der Algorithmen”, https://www.heise.de/newsticker/meldung/heiseshow-Ab-12-Uhr-live-zur-Macht-der-Algorithmen -3218013.html Bertelsmann Stiftung (2017). Arbeitspapier „Digitale Öffentlichkeit“, https://www.bertelsmannstiftung .de/de/publikationen/publikation/did/digitale-oeffentlichkeit/ Bundesministerium für Bildung und Forschung (BMBF) (2015). „Startschuss für das neue Internet -Institut“, https://www.bmbf.de/de/startschuss-fuer-das-neue-internet-institut-1336.html Bundesministerium der Justiz und für Verbraucherschutz (BMJV) (2017). „Zusammenleben in der digitalen Gesellschaft – Teilhabe ermöglichen, Sicherheit gewährleisten, Freiheit bewahren“, http://www.bmjv.de/SharedDocs/Reden/DE/2017/07032017_digitales_Leben.html?nn=6704226 Bundesministerium für Wirtschaft und Energie (BMWi) (2016). „Grünbuch – Digitale Plattformen “, https://www.bmwi.de/Redaktion/DE/Publikationen/Digitale-Welt/gruenbuch-digitaleplattformen .pdf?__blob=publicationFile&v=20 Bundesministerium für Wirtschaft und Energie (BMWi) (2016). Stellungnahmen zum Grünbuch – Digitale Plattformen https://gruenbuch.de.digital/de/stellungnahmen/index.html Bundesministerium für Wirtschaft und Energie (BMWi) (2017). „Weissbuch – Digitale Plattformen “, https://www.bmwi.de/Redaktion/DE/Publikationen/Digitale-Welt/weissbuch-digitaleplattformen .pdf?__blob=publicationFile&v=22 Bundesregierung (2014). „Digitale Agenda 2014-2017“, https://www.digitale-agenda.de/Content /DE/_Anlagen/2014/08/2014-08-20-digitale-agenda.pdf?__blob=publicationFile&v=6 Bundesverband der Verbraucherzentralen (2017). „Algorithmen-TÜV für Autosoftware“, http://www.vzbv.de/pressemitteilung/algorithmen-tuev-fuer-autosoftware Büro für Technikfolgenabschätzung beim Deutschen Bundestag (TAB) (2017). TA-Vorstudie: “Social Bots”, https://www.bundestag.btg/Aktuelles/Vorstudie_Social_Bots.pdf Büro für Technikfolgenabschätzung beim Deutschen Bundestag (TAB) (2017). Thesenpapier “Social Bots”, https://www.tab-beim-bundestag.de/de/aktuelles/20161219/Social %20Bots_Thesenpapier.pdf Büro für Technikfolgenabschätzung beim Deutschen Bundestag (TAB) (2017). “Algorithmen in digitalen Medien und ihr Einfluss auf die Meinungsbildung”, http://www.tab-beim-bundestag .de/de/gutachter/g40100.html Cathy O‘Neil (2016). „Weapons of Math Destruction“, Crown Publishing Group, New York, 2016 Wissenschaftliche Dienste Sachstand WD 8 - 3000 - 031/17 Seite 18 Competence Center for Scalable Data Services and Solutions, https://www.scads.de/de/ Condliffe, J., heise online (2017). „Wie man KI austrickst“, https://www.heise.de/tr/artikel/Wieman -KI-austrickst-3792116.html Deutscher Bundestag (2016). „Wirkung von „Social Bots“ ist unter Sachverständigen strittig“, http://www.bundestag.de/dokumente/textarchiv/2017/kw04-pa-bildung-forschung-socialbots /488818 Deutscher Bundestag (2017) „Experten sehen Regelungsbedarf“, http://www.bundestag .de/presse/hib/2017_03/-/499740, hib 188/2017 Deutscher Ethikrat (2015). „BigData”, http://www.ethikrat.org/themen/forschung-und-technik /big-data Deutscher Ethikrat (2017). Jahrestagung Autonome Systeme, http://www.ethikrat.org/veranstaltungen /jahrestagungen/autonome-systeme , http://www.ethikrat.org/dateien/pdf/jt-21-06-2017- zweig.pdf Deutsches Ausschreibungsblatt (2017). „Hashwert“, https://www.deutsches-ausschreibungsblatt .de/da/service/glossar/hashwert/ Deutsches Forschungsinstitut für öffentliche Verwaltung Speyer (2017). „Algorithmenkontrolle im "Internet der Dinge" als verbraucherpolitischer Schutzmechanismus“ (AlgoKon, Förderkennzeichen 28V22003) Die Welt (2017). „Computer nehmen Banken die Arbeit ab“, Seite 13, vom 26.7.2017 Drösser, Christoph (2016). „Total berechenbar“, Carl Hanser Verlag, München 2016 Dworschak, M. (2017). „Die Kassandra von Gelhausen“, Der Spiegel 6/2017, Seite 98 Europäisches Parlament (2017). „Bericht über die Folgen von Massendaten für die Grundrechte: Privatsphäre, Datenschutz, Nichtdiskriminierung, Sicherheit und Rechtsdurchsetzung (2016/2225(INI))“, http://www.europarl.europa.eu/sides/getDoc.do?pubRef=-//EP//TEXT+RE- PORT+A8-2017-0044+0+DOC+XML+V0//DE Europäisches Parlament (2017). „Digitale Agenda für Europa“, http://www.europarl.europa .eu/atyourservice/de/displayFtu.html?ftuId=FTU_5.9.3.html und http://eur-lex.europa.eu/legal -content/DE/TXT/?uri=LEGISSUM%3Asi0016 Fragenkatalog für das Fachgespräch zum Thema „Künstliche Intelligenz“ des Ausschusses Digitale Agenda am 22. März 2017, BT-Drs 18(24)SB41 Fraunhofer Institut für Algorithmen und Wissenschaftliches Rechnen (SCAI) (2017). „Fraunhofer SCAI“, https://www.scai.fraunhofer.de/ Fraunhofer Institut für Intelligente Analyse- und Informationssysteme (IAIS) (2017). „Algorithmen -Check“, https://www.iais.fraunhofer.de/de/geschaeftsfelder/bildverarbeitung/uebersicht/algorithmen -check.html Wissenschaftliche Dienste Sachstand WD 8 - 3000 - 031/17 Seite 19 Gigerenzer, G., Spektrum der Wissenschaft (2015). Technik braucht Menschen, die sie beherrschen “, http://www.spektrum.de/kolumne/technik-braucht-menschen-die-sie-beherrschen /1375950?_druck=1 Hartl, K. (2017). „Suchmaschinen, Algorithmen und Meinungsmacht“, Springer Fachmedien, Wiesbaden 2017 Helbing, D., Frey, B.S., Gigerenzer, G., (2016). „ Digitale Demokratie statt Datendiktatur“, Spektrum der Wissenschaft, 1/2016, Hofstetter, Y., Spektrum der Wissenschaft (2015). „Wenn intelligente Maschinen die digitale Gesellschaft steuern“, http://www.spektrum.de/kolumne/wenn-intelligente-maschinen-die-digitalegesellschaft -steuern/1375921 Homepage der Association for the Advancement of Artificial Intelligence (AAAI), http://www.aaai.org/ Homepage des MIT Computer Science and Artificial Intelligence Laboratory (CSAIL), https://www.csail.mit.edu/ Homepage OpenAI, https://openai.com/about/ Jaume-Palasí, L., Pohle, J.,Spielkamp, M.(Hg.) (2017). „Digitalpolitik-Eine Einführung“, Berlin: Wikimedia Deutschland e.V. und iRights.international, 2017, https://www.wzb.eu/sites /default/files/u8/digitalpolitik.eine_einfuehrung-2.pdf Knight, W., Technology Review (2017). „Das Problem der diskriminierenden Algorithmen“, https://www.heise.de/tr/artikel/Das-Problem-der-diskriminierenden-Algorithmen-3780753.html Maas, H. (2015). „Unsere digitalen Grundrechte“, Die Zeit- online vom 10.12.2015, http://www.zeit.de/2015/50/internet-charta-grundrechte-datensicherheit, http://www.bmjv.de/SharedDocs/Interviews/DE/2015/Namensartikel/12092015_Die- Zeit.html%20Auszug%20Artikel%204 Mattke, S. (2016) „Stabil mit Blockchain“, https://www.heise.de/tr/artikel/Stabil-mit-Blockchain- 3716940.html Meinungsbarometer.Info (2017). „Unkontrollierbare Algorithmen als Regelfall?“, https://meinungsbarometer .info/beitrag/Unkontrollierbare-Algorithmen-als-Regelfall_2276.html Öffentliches Fachgespräch des Ausschusses für Bildung, Forschung und Technikfolgenabschätzung zu „Social Bots“ am 26. Januar 2017 Reintjes, T., Deutschlandfunk, (2017). „Visionen und Wahrheiten aus der Blockchain Entwicklung “, http://www.deutschlandfunk.de/die-welt-veraendern-visionen-und-wahrheiten-ausder .740.de.html?dram:article_id=378079 Richtlinie 2009/24/EG des Europäischen Parlaments und des Rates vom 23. April 2009 über den Rechtsschutz von Computerprogrammen, s. Grund Nr. (11), http://eur-lex.europa.eu/legal-content /DE/TXT/?qid=1502376959469&uri=CELEX:32009L0024 Wissenschaftliche Dienste Sachstand WD 8 - 3000 - 031/17 Seite 20 Roßbach, P. (2016). „Blockchain-Technologie und ihre Implikationen“, http://blog.frankfurtschool .de/blockchain-technologien-konsens-mechanismen/?lang=de Schrader, Christoph, Spektrum der Wissenschaft, (2017). „Computermodelle – Wahrheit aus der Maschine, http://www.spektrum.de/news/wahrheit-aus-der-maschine /1483283?utm_source=zon&utm_medium=teaser&utm_content=news&utm_campaign =ZON_KOOP Schulzki-Haddouti, Ch., heise online (2017).„EU-Parlament fordert klare Standards für Big Data“, https://www.heise.de/newsticker/meldung/EU-Parlament-fordert-klare-Standards-fuer-Big-Data- 3653706.html Siems, D., Die Welt (2017). „Gefangen im Netz“, Die Welt, Seite 10 vom 31.7.2017 Spehr, Michael, Frankfurter Allgemeine Zeitung (2017). „Algorithmen fallen nicht vom Himmel“ vom 18.7.2017, Seite T1 Spektrum der Wissenschaft (2017). „Willkommen in der Datenwelt“, Spektrum der Wissenschaft Spezial Heft 1/2017 Tanriverdi, H. Süddeutsche Zeitung (2015) “So will Elon Musk künstliche Intelligenz bändigen”, http://www.sueddeutsche.de/digital/open-ai-so-will-elon-musk-kuenstliche-intelligenz-baendigen -1.2780064 The White House (2016). “Artificial Intelligence, Automation, and the Economy”, https://obamawhitehouse.archives.gov/blog/2016/12/20/artificial-intelligence-automation-andeconomy Verordnung (EU) 2015/2120 des Europäischen Parlaments und des Rates (Netzneutralitätsverordnung der EU) http://eur-lex.europa.eu/legal-content/DE/TXT/?uri=celex%3A32015R2120 WebIntelligence WI 2017, http://webintelligence2017.com/ Zweig, K. (2016) „Überprüfbarkeit von Algorithmen“, 2. Arbeitspapier von AlgorithmWatch, https://algorithmwatch.org/de/zweites-arbeitspapier-ueberpruefbarkeit-algorithmen/ Zweig, K. (2016). „Was ist ein Algorithmus“, 1. Arbeitspapier von AlgorithmWatch, https://algorithmwatch .org/de/arbeitspapier-was-ist-ein-algorithmus/ Zweig, K., Krafft, T., Hauer, M., Bayerische Landeszentrale für neue Medien (2017). „Dein Algorithmus – meine Meinung“, https://www.blm.de/aktivitaeten/medienkompetenz/materialien/algorithmenbroschuere .cfm ***