Wer steuert die Künstliche Intelligenz?
Eine Podcast-Serie der Heinrich Böll Stiftung zum Thema KI
Staffel I – 3. Teil >>> alle Folgen dieser Podcast-Serie können Sie auf Spotify, Deezer und Soundcloud hören, oder als Podcast abonnieren.
Künstliche Intelligenz stellt auch Politik und Verwaltung vor neue Herausforderungen. Wie wurde in der Vergangenheit technischer Fortschritt wahrgenommen und verhandelt? Was ist mit Öffentlichkeit und Zivilgesellschaft? Was muss als nächstes getan werden?
Elon Musk: „I think, we should be very careful about AI. If i would guess, what our biggest existential threat is, it is probably that. We are summoning the demon.“
„Ich denke, wir müssen sehr vorsichtig sein, wenn es um Künstliche Intelligenz geht. Wenn Sie mich fragen, ist diese Technologie die größte Bedrohung, die es gibt, für die Menschheit. Wir züchten einen Dämon heran.“
Elon Musk ist bekannt für seine großen Worte. Der Unternehmer baut als Chef von Tesla nicht nur Elektroautos, er hat auch ein eigenes Raumfahrtunternehmen und will den Mars kolonisieren. Außerdem plant er einen Zug, der mit 1200 km/h durch luftleere Röhren saust – um nur einige seiner visionären Projekte zu nennen. Realisieren kann er all diese Ideen nur mit Künstlicher Intelligenz, an deren Entwicklung er mit seinen Unternehmen arbeitet. Gleichzeitig warnt er schon seit Jahren eindringlich vor den Risiken – und ist damit nicht allein. Auch der Physiker Stephen Hawking etwa spricht davon, Künstliche Intelligenz könne die Menschheit auslöschen.
Diese Technologie verspricht in Zukunft den größten Fortschritt. Gleichzeitig birgt sie existenzielle Risiken. Wie lassen sie sich minimieren? Wie können wir Künstliche Intelligenz regulieren? Vor welchen Herausforderungen stehen Forschung, Wirtschaft, Politik und Gesellschaft? Darum geht es in der letzten Folge von Böll-Spezial, der Podcast-Serie der Heinrich-Böll-Stiftung.
Die Anwendungsgebiete von Künstlicher Intelligenz sind heutzutage relativ begrenzt auf spezifische Tätigkeiten, wie Sprache übersetzen oder, in naher Zukunft, Auto fahren.
Was aber, wenn die Entwicklung so weit ist, dass ein Computersystem auch komplexere Aufgaben erfüllen kann, zum Beispiel unser privater Assistent zu sein? Wenn das System immer mehr lernt, über uns und die Welt? Wäre dann das, was wir aus Hollywood kennen, denkbar? Hätten wir dann diese Superintelligenz, die alles kann, was Menschen können – nur eben viel besser? Diese Superintelligenz könnte nett zu uns sein, wenn wir ihren definierten Zielen nicht im Weg stehen. Sie könnte uns aber auch einfach auslöschen, weil sie keinen menschlichen Wertvorstellungen unterworfen ist.
Ob und wann es so weit sein wird, dass wir solche superintelligenten Computer haben, darüber wird unter Forscher*Innen zur Zeit heftig gestritten. Fest steht aber für die meisten: Autonome Entscheidungssysteme müssen kontrolliert werden – und das so bald wie möglich. Welche Regulierungen braucht es also?
Die technische Ebene
Geht das überhaupt, eine Künstliche Intelligenz zu kontrollieren? Schon jetzt scheinen wir nämlich den Durchblick verloren zu haben. Sogar die Programmierer*Innen einer Künstlichen Intelligenz können nicht bis ins Detail nachvollziehen, warum der Computer zu dieser oder jener Entscheidung gekommen ist. Zum Beispiel sollen sie lernen, Pferde auf Fotos zu erkennen. Niemand weiss genau, warum die künstlichen neuronalen Netze des jeweiligen Systems dann Pferde erkennen. Denn die Algorithmen werden nicht mehr programmiert, sondern lernen selbst – anhand von Unmengen an Daten. So bleiben diese Systeme bis zu einem gewissen Grad black boxes für uns. Wolf Dieter Lukas ist Leiter der Abteilung Schlüsseltechnologien im Bundesministerium für Bildung und Forschung. Auf der Konferenz “Netz-regeln 2017”, die die HeinrichBöll-Stiftung gemeinsam mit dem Branchenverband Bitcom veranstaltet hat, erklärt er anschaulich, dass es sehr schnell zu Fehlern kommen kann bei den selbstlernenden Systemen:
Wolf Dieter Lukas: „Ich weiß nicht, was die Maschine gelernt hat. Ein klassisches Beispiel, Bilderkennung: Es wurde festgestellt, dass die Bilder von Pferden immer zu 100% erkannt werden und die von anderen Tieren immer zu 80 oder 90%. Und ein guter Professor sagte sofort, ihr habt ein Problem mit dem Programm, 100% gibt es nicht. Was war passiert? Die Bilder von Pferden hatten immer ein Copyright. Die Maschine hat nur geguckt, hat das Bild ein Copyright, da hätten sie einen Hund nehmen können, die Maschine hätte es als Pferd erkannt.
Es gibt Übersetzungsmaschinen, die müssen erkennen, welche Sprache gesprochen wird. Die Maschine, was hat sie gemacht, sie konnte es zu 100%. Professor sagt wieder zur Mitarbeiterin, das kann nicht sein, 100%. Guck mal, in welcher Zeit das passiert. – Unter einer Sekunde, Zehntelsekunde. -Hat die Konversation überhaupt schon stattgefunden? -Nein. Bevor die miteinander sprachen, wusste das System in welcher Sprache. Was war? Es hatte einfach erkannt die Klimaanlage – in den USA klappert sie, bei uns nicht. Und wenn es klappert, dann wusste sie: Jetzt kommt englisch, oder amerikanisches Englisch.”
Wie genau der Algorithmus arbeitet, können wir also gar nicht kontrollieren – wohl aber die Grundsätze und Daten anhand derer der Computer lernt. Denn das müssen wir uns klar machen: Auch Algorithmen entscheiden nicht neutral. Ihre Entscheidungen sind abhängig von ihren Entwickler*Innen und von den Datensätzen, mit denen sie gefüttert werden.
In den Folgen eins und drei dieses Podcasts gehen wir näher darauf ein: Wir zeigen, wie Künstliche Intelligenz Menschen diskriminieren kann, wenn das System seine Entscheidungen auf Grundlage, zum Beispiel, sexistischer oder rassistischer Vorurteile fällt.
Sprecherin: Wie können wir also gewährleisten, dass Algorithmen ausgewogen entscheiden? Eine Lösung könnte ein Amt sein oder ein öffentliches Institut, das Algorithmen und Entscheidungsprozesse überprüft, um sicher zu stellen, dass die KI entsprechend unserer freiheitlich demokratischen Werte handelt und etwa nicht gegen das Antidiskriminierungsgesetz verstößt.
Joachim Fetzer: „Der Algorithmen-TÜV. Es ist eine attraktive Begriffsbildung die verspricht ja echt deutsche Sicherheit und Gründlichkeit. Und jeder denkt dann an die große und erfolgreiche deutsche Leittindustrie. Ich habe auch gar nichts gegen Tüv und übrigens auch Dekra und ich freue mich, dass natürlich nicht nur jedes Auto, sondern auch jeder Aufzug regelmäßig geprüft wird. Aber was ist wichtiger: der Führerschein für alle oder der Tüv? Ich glaube, dass der Führerschein wichtiger ist als der Tüv. Und insofern gibt es bestimmte Denkstrukturen die die für die Datenwelt wichtig sind. Ich glaube dass es zum Alltag gehören sollte, so wie Schuhe binden, sich anziehen, dass man in diesen Denkstrukturen alltäglich zu Hause ist.”
Der Wirtschaftsethiker Joachim Fetzer betont, wie wichtig es ist, dass wir verstehen, wie Künstliche Intelligenz über uns bestimmen kann. Wir müssen nicht alle programmieren lernen, wohl aber verstehen, welche Denkmuster hinter dieser Technologie stecken: um zu verhindern, dass sie zu einem Machtinstrument einiger weniger wird. (Schon heute ist es so, dass Künstliche Intelligenz unsere Entscheidungen manipuliert. Das einfachste Beispiel ist vielleicht die intelligente Werbung bei Google: Der Algorithmus lernt unsere Wünsche kennen – und blendet auf den Werbeflächen der Internetseiten genau das Sportgerät, genau, das Möbelstück ein, das ich überlege zu kaufen.) Deshalb hält es die deutsche NGO AlgorithmWatch für ungemein wichtig, dass eine breite Öffentlichkeit Einblick bekommt in diese komplexen, technischen Vorgänge. Sie schreiben in ihrem Manifest:
“Prozesse algorithmischer Entscheidungsfindung müssen nachvollziehbar sein, damit sie demokratischer Kontrolle unterworfen werden können.”
“Demokratische Gesellschaften haben die Pflicht, diese Nachvollziehbarkeit herzustellen: durch eine Kombination aus Technologien, Regulierung und geeigneten Aufsichtsinstitutionen.“
NGO AlgorithmWatch
Das wird vor allem dann wichtig, wenn Künstliche Intelligenz die Entscheidungsmacht hat und richtet, zum Beispiel darüber, wer einreisen darf, zum Vorstellungsgespräch eingeladen wird oder wer einen Kredit bekommt. Oft wissen die Beteiligten noch nicht einmal, dass ein Computer ausgewählt hat. Die Entscheidungen, die ein Algorithmus trifft, müssen transparent sein.
Sie müssen kontrolliert, in Frage gestellt und wenn nötig auch revidiert werden können. Jeanette Hoffmann von der FU Berlin:
Jeanette Hofmann: “Was ich mindestens ebenso wichtig finde, ist, dass, wenn Algorithmen oder überhaupt Maschinen Entscheidungen treffen, die für das Leben von Menschen von unmittelbarer Relevanz sind, dass es dann Einspruchs-Verfahren geben muss, und dass auch jemand außerhalb dieses Algorithmus erklären muss, wie diese Entscheidung zustande gekommen ist. Das heißt, es reicht nicht, dass wir so etwas automatisieren. Sondern es ist wesentlich, dass ein Mensch erklärt was da entschieden worden ist und warum.“
Welche Regulierung braucht es auf wirtschaftlicher Ebene?
The Big Five – die großen Fünf bestimmen zurzeit den Markt: Alphabet, die Mutterfirma von Google, Apple, Amazon, Facebook und Microsoft. Hinzu kommt vielleicht noch der chinesische Internetkonzern Alibaba. Sie treiben die Entwicklung voran, setzten eigene Standards, bevor Gesetzgeber die Probleme überhaupt erkannt haben, sie haben das Know-How – und sie haben unsere Daten. Große Datensätze sind eine wichtige Voraussetzung, um eine effektive Künstliche Intelligenz zu bauen. Je größer der Datensatz, desto besser wird das System lernen: Je häufiger Google einen Suchauftrag von mir erhalten hat, desto besser weiß das System, nach was ich suchen werde.
Jeanette Hofmann: „Es ist tatsächlich so, dass die Generierung und Analyse von Daten in der Hand von sehr wenigen Organisationen liegt. Und natürlich ist es auch so, dass je mehr Daten man hat, desto bessere Algorithmen kann man auch bauen und damit ist sozusagen in diesem Markt ein inhärenter Trend zum Monopol angelegt. Wir sehen auf der europäischen Ebene verschiedene Versuche, den Besitz von Daten zu regulieren. Das finde ich langfristig auch sinnvoll, auch wenn meine Empfehlungen sicher in eine andere Richtung gehen, als die von der Europäischen Kommission. Ich würde mir wünschen, dass man Daten eher breiter zugänglich macht, um auf diese Weise auch so etwas wie Marktwirtschaft zu erhalten in dem Bereich.”
Also Open Data statt Regulierung? Die EU hat sich anders entschieden: Ab Mai 2018 gilt die neue Datenschutz-Grundverordnung: Sie verpflichtet Unternehmen zu mehr Transparenz und zu einem besseren Schutz der Daten ihrer Kunden: Die Firmen müssen besser und in verständlichen Worten ihre Kunden darüber informieren, was sie mit deren Daten vorhaben, wie lange und wo sie gespeichert werden, etc. Zudem müssen sie die Kundendaten besser vor Cyberattacken schützen. Die strengere Verordnung wird nicht nur für EU-Firmen gelten, sondern für alle Unternehmen, die Kunden in der EU erreichen, also auch für Facebook und Co.
Sprecher: Kontrolle ist gut – aber die EU sollte endlich auch die Initiative ergreifen und europäische Firmen und Unternehmen, die KI-Produkte entwickeln, stärker unterstützen. Das findet der Wirtschaftsethiker Joachim Fetzer:
Joachim Fetzer: „Wenn man etwas kontrollieren will, wäre es schön, wenn man das im eigenen Verfügungsbereich hat. Das heißt, wenn wir gestalten wollen, müssen wir erst mal als eigenständiger Akteur bestehen, als globaler Akteur, in der KI-Szenerie und zwar nicht nur in der Forschung. Da sind wir gut, sondern eben auch in der Wirtschaft auftreten, und können uns dann noch überlegen, wie wir da wie kontrollieren können. Insofern würde ich sagen, Lassen Sie es uns gestalten und dann noch über kontrollieren nachdenken statt zuerst über kontrollieren nachzudenken, was man gar nicht gestaltet hat.“
Google und Co schaffen allerdings Fakten – die eine Regulierung notwendig machen. Denn hier geht es um unsere Grundrechte. Google, zum Beispiel, weiß alles über mich: meine Internetsuche verrät, wofür ich mich interessiere, mein Android-Telefon meldet, wo ich bin, mein Kalender verrät, was ich mache, und über mein Emailsystem kennt Google auch all meine Kontakte und Freunde. Wäre Google ein Staat, so hätte er mich in der Hand. Die Autorin und Unternehmerin Yvonne Hofstetter verzichtet deswegen auf ein Smartphone:
Yvonne Hofstetter: “Auf dem Smartphone sind relativ viele Sensoren installiert. die Sensoren sowieso jeden Tag nutzen: Kamera, Mikrofon und dann haben wir natürlich noch Sensorik, das ist uns ganz klar, dass sie da sind: Beschleunigungmesser, Lichtmesser, Kreiselkompass. Diese Dinge sind auch installiert und über diese Sensorik vermisst man das Verhalten des Objekts, das diese Sensoren mit sich herumträgt. Haben wir auch im industriellen Bereich Industrie 4.0: „Industrial Internet of Things“ tut genau das und der Sinn dieser Überwachung ist der, dass wir uns ein Bild machen können, Situationsanalyse über das überwachte Objekt und dass wir eben auch eine Vorhersage treffen, wie sich dieses Objekt verhält.
Es ist kein Problem, wenn das eine Sache ist. Industrieanlage, Ventile, Kompressoren, Weichen, bei der Bahn beispielsweise. Es ist natürlich ein Problem beim Menschen, denn beim Menschen haben sie dann einen ziemlich guten Überblick wie sich so ein Mensch verhält, wie der tickt welche Knöpfe sie an dem drehen können, um ihn zu einer bestimmten Art und Weise um ein bestimmtes Verhalten dort auszulösen.
“Das tritt in Konflikt mit den Grundrechten, die uns als Freiheitsrechte, die uns garantiert sind grundsätzlich garantiert sind. Das Neue daran ist, dass die Hersteller und Betreiber, wenn Sie so wollen, diese Smartphones nicht der Staat sind, sondern private Unternehmen sind aber über diese Technologie in die Lage versetzt werden in unsere Grundrechte einzugreifen. Etwas das der Gesetzgeber gar nicht vorgesehen hat im letzten Jahrhundert.”
Kontrolle auf politischer Ebene
Der Bundestagsabgeordnete Konstatntin von Notz ist in der Fraktion der Grünen für die Bereiche Innen- und Netzpolitik zuständig und setzt sich seit Jahren dafür ein, dass die Politik verlässliche Regeln für den digitalen Fortschritt schafft.
Konstantin von Notz: “Wir haben etwas zu verlieren. Und das darf nicht dazu führen, dass man retro-verklärende Diskussionen führt oder dass man den Status quo halten will. Aber das hat viel damit zu tun, dass man einen Anspruch formuliert. Gerade auch politisch, gerade auch demokratisch, dass man was zu verteidigen hat und dass es nicht gottgegeben ist, dass durch eine solche Umbruchphase, wie wir sie die nächsten Jahren und Jahrzehnten durchleben werden eben dieses Maß an Freiheit automatisch bleibt. Wir müssen was dafür tun.”
Welche Gesetze könnten das sein?
Besonders wichtig ist sicherlich der Datenschutz!
Es ist auch in diesem Bereich nicht einfach, einen gesetzlichen Rahmen zu schaffen, der beides ermöglicht: eine ausreichende Freiheit für den Fortschritt UND einen ausreichenden Schutz für uns Verbraucher.
Jeanette Hofmann: “Ich glaube, dass unsere Datenschutzverordnung nicht lange halten wird. Das hat auch ein bisschen mit Big Data zu tun. Im Falle von Big Data aber auch im Bereich von Internet of Things: Da wird ja eine ganze neue Generation von Datentypen generiert und die sind für den Datenschutz oder für die Privatsphäre der Menschen unmittelbar relevant. Weil mehr und mehr Daten produziert werden, die zwar nicht für sich genommen Aufschluss auf Personen auf individuelle Personen geben , aber zusammengenommen tun sie das. Und wenn wir dies … in einem solchen Umfang eine Verdatung unseres öffentlichen Lebens und auch unseres privaten Lebens erzeugen, dann müssen wir sicherstellen, dass die Privatsphäre der Menschen gewahrt bleibt und dass man vor allen Dingen selber weiß, was mit den eigenen Daten passiert, und dass wir auch wissen, wer diese Daten eigentlich speichert.”
Doch was nützt es, strenge Datenschutzregeln gesetzlich zu verankern, wenn viele Menschen ihre Daten freiwillig, Google, Facebook und Co zu Verfügung stellen – und deren Künstlichen Intelligenzen immer mächtiger machen?
Konstantin von Notz: “Also ich glaube man kann die Leute vor krasser Selbstschädigung nicht bewahren. Aber auch in dem Bereich gilt: Man muss sich einfach klar machen was da passiert, und man kann nicht in totaler Naivität sozusagen sich solchen solche Dinge zu eigen machen und am Ende des Tages muss es Aufklärungspflicht und Schutz geben. Also wir sind ja in ganz vielen Bereichen, machen wir den Spagat. Ich selbst rauche zum Beispiel ab und zu. Nun rauchen ist sehr gesundheitsschädlich, das steht auf Packungen auch Fett drauf. Und der Staat sagt „na gut also in dem Bereich, du kannst dich schon selbst schädigen, wenn du willst, aber wir klären zumindest darüber auf, dass du Bescheid weißt, dass du dich selbst schädigt“. Jetzt sage ich nicht: Man muss große Aufkleber auf Alexas kleben. Aber ich glaube, wir werden schon darüber reden müssen, eben Transparenz herzustellen. Und wenn die Unternehmen das nicht von selbst tun, dann muss man sie im Zweifel dazu verpflichten. Also jemand der sich Alexa ins Wohnzimmer oder ins Kinderzimmer stellt, der muss verstehen, was da genau passiert. Wer die Daten bekommt, wie lange die gespeichert werden, wie die verarbeitet werden, was für Informationen daraus generiert werden – sonst kann kein wirksamer Vertrag über diese Datennutzung entstehen und das muss der Gesetzgeber durchsetzen, dass dieser Anspruch eben gilt.”
In der neuen EU-Datenschutzverordnung werden die Unternehmen dazu verpflichtet, nicht nur zu informieren – sondern auch VERSTÄNDLICH zu informieren: Denn wer versteht schon diese viel zu langen, viel zu komplizierten AGBs? Wer liest sich das durch, bevor man sich die App auf dem Smartphone installiert?. Auch Jeanette Hofmann fordert, dass auf der politischen Ebene viel mehr zum Schutz der Verbraucher*innen und Bürger*innen getan werden muss:
Jeanette Hofmann: „Ich glaube, dass das Wirtschaftsmodell mit dem zurzeit Daten gesammelt werden, also, dass wir faktisch ohne Entgelt sehr viele digitale Kommunikations-Dienste nutzen und das mit unseren persönlichen Daten zahlen und dann auch noch die vertragliche Konstruktion so ist, dass wir dem zustimmen. Das ist sozusagen, die Verantwortung für die Folgen dieses Wirtschaftsmodells uns individuell zugerechnet wird, weil wir ja so etwas wie eine informierte Einwilligung haben – das finde ich wirklich eine geradezu zynische Lösung.”
Allerdings sollte es auch für die Unternehmen, die mit KI arbeiten und Geld verdienen wollen, von großem Interesse sein, dass in einem klaren rechtlichen Rahmen zu tun. Schließlich werde sich die Technik sonst einfach nicht durchsetzen, meint Konstantin von Notz.
Konstantin von Notz: “Es ist einer der großen Trugschlüsse dieses libertaristischen SiliconValley-Weltbildes, je weniger Staat desto geiler für die Digitalisierung, desto besser für den Menschen. Zumindest in europäischen Kontexten stimmt das nicht, diese Techniken werden nur auf Akzeptanz stoßen, wenn sie rechtsstaatlich eingehegt sind. Auch die Fantasie zur Zukunft des Automobils, werden nur funktionieren, wenn das rechtsstaatlich funktioniert.“
Wie sollen wir Künstliche Intelligenz kontrollieren? Dieser Podcast hat gezeigt, dass es darauf keine einfache Antwort gibt. Viele Fragen sind offen: Wie können wir die Kontrolle behalten über diese riesigen Datensätze, mit der die Künstliche Intelligenz arbeitet?
Wie sollen die Gesetzgeber mithalten mit einer Entwicklung, die so rasant ist?
Wie schaffen wir es, nicht nur nationale oder EU-Richtlinien zu schaffen, sondern auch globale Verordnungen, die es braucht, weil die großen Unternehmen weltumspannend arbeiten?
Müssen wir auch regulieren, wofür Künstliche Intelligenz eingesetzt wird? Wie sieht es, zum Beispiel, mit der Entwicklung von Kriegsrobotern aus? Dürfen wir zulassen, dass weiter an autonomen Killermaschinen geforscht wird und diese dann auch eingesetzt werden?
Und was passiert, wenn Roboter tatsächlich irgendwann schlauer sein sollten als wir? Elon Musk arbeitet bereits an einer Lösung dieses Problems: Er hat dafür die non-profit Organisation “Open AI” gegründet, die sich der Erforschung der Künstlichen Intelligenz verschrieben hat. Seine neue Idee, um zu verhindern, dass die Künstliche Intelligenz uns überholt: Unser Gehirn mit Computern zu vernetzen. Damit will er die Konkurrenz zwischen Mensch und Maschine auflösen.
Yvonne Hofstetter: „Jetzt kommt ein verändertes Menschenbild auf uns zu, aus dem Silicon Valley. Das drückt sich aus in Sätzen, die wir von dort hören, wie: „der Mensch ist die ultimative Maschine“, „Wir wollen unsere künstliche Intelligenz dazu einsetzen um die Menschen umzuprogrammieren damit sie sich besser benehmen“. Dieses Menschenbild wird transportiert.“
Um unsere Souveränität zu behalten, dürfen wir nicht abwarten, was da auf uns zu kommt. Der Auftrag an uns als Gesellschaft lautet also: Künstliche Intelligenz zu verstehen, sich mit ihr auseinander zu setzen, der Technologie mündig gegenüber zu stehen. Sich die Freiheit zu erarbeiten, entscheiden zu können. Und die Wegbereitung nicht allein großen Konzernen zu überlassen, sondern sich individuell, gesellschaftlich und politisch dafür zu engagieren, dass wir eine Wahl haben.
Joachim Fetzer: „Lassen wir uns nichts einreden von der neuen Technik. Bleiben wir erwachsen und nutzen die Technik als Maschine – mehr ist sie nicht.“
Damit endet unsere 4-teilige Podcast-Serie zum Thema “Künstliche Intelligenz”
Folge 1: Was ist Künstliche Intelligenz
Folge 2: Wie verändert Künstliche Intelligenz den Verkehr?
Folge 3: Künstliche Intelligenz in der Verbrechensbekämpfung
Alle Folgen dieser Podcast-Serie können Sie auf Spotify, Deezer und Soundcloud hören, oder als Podcast abonnieren.
➨ Alle Podcast-Folgen zur Künstlichen Intelligenz
Dieser Podcast ist eine Produktion des Audiokollektivs.
Autoren und Autorinnen: Anna Bilger, Vanessa Löwel, Lukasz Tomaszewski.
Redaktion Heinrich-Böll-Stiftung: Michael Stognienko und Lukas-C. Fischer.
Musik: frametraxx. Gesprochen haben: Lukasz Tomaszewski und Anna Bilger.
Dieser Beitrag steht unter folgender Urheberrechtslizenz: CC-BY-SA 3.0
