Stellungnahme des GI-Fachbereichs Sicherheit vom 29.11.2018 zur KI-Strategie der Bundesregierung

Für das Leitungsgremium des GI-FB Sicherheit sind folgende Aspekte von besonderer Bedeutung für eine sicherheitsbezogene KI-Strategie:

• Viele Errungenschaften der IT-Sicherheit und Cyber-Sicherheit basieren darauf, dass KI-Methoden zum Einsatz kommen. Die gezielte Förderung von KI ist daher zu begrüßen, nur sollte diese KI auch sicher, robust, nachvollziehbar und vertrauenswürdig sein.
• Nötig ist eine sichere und gegenüber Störungen robuste Entwicklung der KI durch konsequente Verankerung des Prinzips Security by Design und einem ausreichenden Schutz der Integrität der KI-Systeme und der davon verarbeiteten Daten.
• Attacken auf Deep Learning Systeme stellen sich primär als Modifikationen von Eingabewerten dar, die von einem menschlichen Beobachter nicht wahrgenommen werden, aber zu einer falschen Klassifikation führen. Damit ist die IT-Sicherheit von KI-Systemen eng mit der Frage der Robustheit verbunden: Kann garantiert werden, dass sich das Ergebnis nicht bereits verändert bei kleinen Eingabeänderungen der Trainingsdaten? Dabei ist zugleich von zentraler Bedeutung, inwieweit die Trainingsdaten (bzw. der Bereich um die Trainingsdaten, in denen sich das KI-System robust verhält) den Eingaberaum hinsichtlich Vollständigkeit abdeckt. Im schlimmsten Fall lernt das System sonst zufällig auftretende Korrelationen, die keinen inhaltlichen Zusammenhang besitzen, oder verfestigt diskriminierende Strukturen.
• Zwischen den Systemen, die (ggf. unter dem Einsatz unterschiedlicher Methoden) miteinander interagieren bzw. zusammenarbeiten, müssen wiederum robuste Schnittstellen eingesetzt werden. Dabei müssen diese Schnittstellen auch die Wertebereiche der an der Kollaboration beteiligten Systeme kennen. Zudem müssen die Schnittstellen selbst und die darüber abgewickelten Datenflüsse überwachbar sein.
• Gewährleistung einer nachvollziehbaren und verantwortlichen KI durch fundierte Abschätzung der Folgen eines unzureichenden Wirklichkeitsmodells und einer geeigneten Anpassung eingesetzter KI-Systeme: Das Verhalten eines KI-Systems muss deterministisch und für den Menschen nachvollziehbar sein. Dabei ist die Frage zu beantworten, ob alle Kontexte der verarbeiteten Daten bewertbar sind bzw. ob zwischen gelernten Kontexten tatsächlich interpoliert werden kann. Algorithmische Entscheidungsverfahren, die Art der eingesetzten Technik, deren Herkunftsland und verfolgte Interessen müssen geeignet (z.B. gegenüber einer vertrauenswürdigen und unabhängigen Instanz) offengelegt werden.
• Bei KI-Systemen (wie z.B. Machine Learning Systemen), die sich aufgrund der ihnen innewohnenden Charakteristik dynamisch ändern, liegt immer ein „moving Target of Evaluation“ vor. Assurance-Aussagen können daher nur eingeschränkt gemacht werden. Entweder man nimmt das als Risiko hin oder man muss die Dynamik der zu evaluierenden Systeme begrenzen, um zu tragfähigen Assurance-Aussagen kommen zu können. Soll das Risiko hingenommen werden, kommt es darauf an, dass auch die wirklich vom Risiko Betroffenen (wie z.B. die Personen, über die maschinell gelernt entschieden wird) an der Entscheidung zum Risiko beteiligt sind.
• Beim Deep Learning (DL) sind insbesondere folgende Probleme zu lösen:
  • Testen: Welche Anforderungen müssen von Trainingsdaten erfüllt werden, um die Zuverlässigkeit eines DL-Systems (z.B. nach SIL) beurteilen zu können?
  • Verifikation: Wie sehen geeignete Mechanismen aus, mit denen Eigenschaften von DL-Systemen (formal) nachgewiesen werden können und was sind solche Eigenschaften? D.h., wie kann garantiert werden, dass jede Änderung der Eingabedaten, die eine Änderung der Klassifikation nach sich zieht, auch als Mensch beobachtbar ist? Was sind die Grenzen des trainierten Eingaberaums (wie z.B.: wie kann ein Benutzer erfahren, mit welchen Daten das DL-System trainiert wurde?) und was sind damit auch die Grenzen der „Kompetenz“ des DL-Systems? Und schließlich: Wie können Einzelergebnisse (on the fly und ohne menschliche Hilfe) im Sinne von Self-Explainability oder Introspection verifiziert werden?
• Einbettung der KI in vertrauenswürdige Prozesse, die dem Prinzip der Gewaltenteilung folgen: Hersteller/Betreiber, Zulassungsinstanz und Untersuchungsinstanz bei Fehlverhalten müssen voneinander unabhängig sein. Dabei ist es Aufgabe des Herstellers, einen Nachweis zu führen, dass das entwickelte KI-System nachvollziehbar, sicher und zuverlässig funktioniert. Der Nutzer/Betreiber eines KI-Systems muss wiederum darstellen, inwieweit man beim Betrieb des KI-Systems darauf vertrauen kann, dass das eingesetzte KI-System nachvollziehbar, sicher und zuverlässig funktioniert. Der Betroffene von einem Fehlverhalten des KI-Systems muss schließlich darauf vertrauen können, dass die Untersuchung des Fehlverhaltens durch eine Stelle durchgeführt wird, die von keiner interessierten Partei (seitens Hersteller, Betreiber oder Zulassungsinstanz) abhängig ist.
• Der Betrieb der KI-Systeme muss sicher, robust, resilient und datenschutzkonform erfolgen.

Bernhard C. Witt (Sprecher des GI-FB Sicherheit – Schutz und Zuverlässigkeit)