Im Kontext von Datensicherheit bedeuten KI-Systeme zwangsläufig, dass Organisationen sich auf neuartige Bedrohungen einstellen müssen.

Prof. Dr. Jörn Müller-Quade erläuterte der TREND-REPORT-Redaktion das Forschungs­feld „Kryptographie und Sicher­­heit“ am KIT und mögliche künftige Bedrohungsszenarien im Kontext von KI.

Herr Prof. Müller-Quade, mit welchen Themen und Aufgaben beschäftigt sich Ihr Forschungsbereich?

Ich erforsche kryptographische Protokolle, etwa für Online-Banking oder Online-Wahlen. Für mich sind diese Verfahren wie kleine Wunder, weil scheinbar Unmögliches erreicht wird, so kann etwa die Korrektheit der Auszählung einer Online-Wahl nachgewiesen werden, ohne dass das Wahlgeheimnis verletzt wird. Neben dem Nutzen, den solche Verfahren in der IT-Sicherheit haben, finde ich sie auch für sich genommen faszinierend. Sogenannte Zero-Knowledge-Beweise können einen von einer Aussage überzeugen, ohne dabei aber mehr zu verraten als die Gültigkeit eben jener Aussage. Sichere Mehrparteienberechnungen erlauben es mehreren Teilnehmern gemeinsam, auf geheimen Eingaben der einzelnen Teilnehmer basierend ein Ergebnis verteilt zu berechnen – ohne dass ein Teil der Teilnehmer das Ergebnis manipulieren oder mehr erfahren kann als eben das Ergebnis. Wie man so etwas hinbekommt und wie man aus solchen mächtigen Bausteinen größere Anwendungen bauen kann, sind Grundfragen der kryptographischen Forschung.

Auf welche Gefahren und Szenarien im Kontext von KI-Technologien müssen wir uns einstellen?

KI-Systeme können Angreifer unterstützen, damit können beispielsweise Angriffe, die bisher mühsam von Menschen gemacht werden müssen, automatisiert werden, was zu einer enormen Zunahme solcher Angriffe führen wird. Konkret denke ich an „Spear Phishing“, also maßgeschneiderte Betrugs-E-Mails, die eine Schadsoftware enthalten, die aktiv wird, wenn man den Empfänger dazu verleitet, eine Datei oder einen Link anzuklicken. KI-Systeme entwickeln in manchen Bereichen übermenschliche Leistungen und könnten somit auch völlig neue Angriffe finden. KI-Systeme, wie sie in Zukunft in vielen Anwendungen stecken werden, können auch selbst angegriffen werden. Wenn man das Verhalten einer KI analysiert, kann man diese KI leicht täuschen, oder wenn man Trainingsdaten verfälscht, kann ein sehr unerwünschtes Verhalten der KI bewirkt werden. Ein Problem ist, dass wir KI-Systeme nicht gut verstehen, daher müssen wir KI-Systeme geschickt mit klassischen Systemen kombinieren, wir benötigen ein „KI-Engineering“…

Den kompletten Beitrag finden Sie in der zweiten Auflage des Open-Content-Buchprojekts „Handbuch Digitalisierung“ veröffentlicht.
Lesen Sie hier mehr…