Grundstein für einen vertrauensvollen Umgang mit KI: Veröffentlichung des weltweit ersten Compliance-Kriterienkatalogs für Künstliche Intelligenz
05 Februar, 2021
Das Bundesamt für Sicherheit in der Informationstechnik (BSI) hat am 2. Februar 2021 den ersten konkreten Kriterienkatalog für vertrauenswürdige und sichere Künstliche Intelligenz (KI) veröffentlicht. Die Kriterien können vielfältig angewendet werden: Als Grundlage für Prüfungen nach ISAE 3000 (Revised) schaffen sie Transparenz für Nutzer von KI-Services. Ebenso bilden sie eine solide Grundlage zur Ausgestaltung des KI Lifecycles, Qualitätssicherung von KI im Entwicklungsprozess und Governance von KI.
Unternehmen in Deutschland haben bereits 2019 knapp 60 Milliarden Euro Umsatz mit KI-Produkten oder KI-Dienstleistungen generiert. Weltweit wird damit gerechnet, dass sich der Umsatz mit Unternehmensanwendungen im Bereich KI von 2020 bis 2025 mehr als versechsfachen wird.
Den beträchtlichen Investitionen in KI steht gegenüber, dass circa 70 Prozent der KI-Projekte nicht auf Anhieb die gewünschten Auswirkungen auf das Geschäft haben. Liegt das an einer generellen Erwartungslücke gegenüber den realen technologischen Möglichkeiten? Oder fehlen einfach die Best Practices für Entwicklung und Integration? Sind Unternehmen in ihren Prozessen noch nicht reif genug für Entwicklung und Betrieb von KI? All dies können Gründe sein, die wir in der Praxis auch häufig beobachten. Wichtig ist: KI kommt mit enormen Potenzialen, aber auch eben mit neuen Risiken und Herausforderungen, die effektiv adressiert werden müssen.
AIC4 Online Self-Assessment
Evaluieren Sie in einem Online Assessment in nur fünf Minuten, wie Sie zu den Anforderungen des AIC4 aufgestellt sind.
Der AI Cloud Service Compliance Criteria Catalogue (AIC4)
Der AI Cloud Service Compliance Criteria Catalogue (AIC4) ist der weltweit erste konkrete Kriterienkatalog mit operationalisierbaren Anforderungen an den KI Lifecycle von offizieller Stelle. Der Kriterienkatalog ist die erste Antwort auf die Forderungen des Marktes, der Bundesregierung und der EU-Kommission nach transparenten Kriterien für robuste KI. Damit nehmen Deutschland und jeder nationale sowie internationale Anbieter, der sich an den Kriterien orientieren wird, eine Vorreiterposition im Rennen um vertrauenswürdige, sichere und nachvollziehbare KI-Services ein. Für Anbieter schafft er einen Rahmen, nach dem durch Prüfungen (analog zu SOC1, SOC2, BSI C5 usw.) Nutzerbedürfnisse an Transparenz über Qualität und Sicherheit adressiert werden können.
Kernanwendungsfelder des AIC4
Organisationen, die KI-Services einsetzen, können sich die Einhaltung von KI-Qualitäts- und Sicherheitsstandards durch ein Testat nach ISAE 3000 (Revised) bestätigen lassen, das von unabhängigen Wirtschaftsprüfern ausgestellt wird. Darüber hinaus ergeben sich Anwendungsfelder des AIC4 abseits einer klassischen Prüfung, beispielsweise zur Mobilisierung der KI Transformation durch Digital Trust. Die Konzeption und Umsetzung einer KI-spezifischen Governance beispielsweise hilft, sowohl interne als auch externe Compliance-Anforderungen zu erfüllen. Aus dem AIC4 lassen sich zudem Best Practices für die Betriebs- und Entwicklungsprozesse von KI ableiten, die auf Absicherung, Verlässlichkeit und Überwachung von KI im Unternehmen wirken. Dadurch wird gewährleistet, dass nur vertrauenswürdige Algorithmen in den produktiven Betrieb überführt werden und somit den internen Innovationsprozess nicht hemmen, sondern befruchten.
Die sieben Themengebiete des Kriterienkatalogs
- Sicherheit und Robustheit
- Performance und Funktionalität
- Zuverlässigkeit
- Datenqualität
- Datenmanagement
- Erklärbarkeit
- Bias
Sicherheit und Robustheit
Sicherheit und Robustheit befasst sich mit der Manipulierbarkeit eines KI-Systems durch bösartige Einflüsse. Insbesondere die Durchführung geeigneter Tests zur Erkennung von böswilligem Input sowie die Implementierung von Maßnahmen gegen gezielte Angriffe stehen hier im Vordergrund. Dadurch soll die Robustheit des KI-Services ebenso wie die Vertraulichkeit und Integrität der Daten entlang der Trainingspipeline des Algorithmus gewährleistet werden.
Performance und Funktionalität
Performance und Funktionalität stellt sicher, dass der KI-Dienst die vorgegebenen Leistungsziele gemäß seiner Charakteristika und seines Einsatzzwecks erfüllt. Dabei muss das System vor dem produktiven Einsatz ausreichend trainiert, evaluiert und getestet werden, um die Einhaltung der Vorgaben zu bestätigen. Der Einsatz von Leistungsmetriken soll zum Beispiel für die Genauigkeit (accuracy) des Algorithmus sowie die Durchführung von Sensitivitätsanalysen eine entsprechende Messbarkeit des KI-Dienstes ermöglichen.
Zuverlässigkeit
Zuverlässigkeit umfasst die Etablierung von Prozessen für den kontinuierlichen Betrieb des KI-Dienstes in produktiven Einsatzumgebungen sowie für die Untersuchung möglicher Fehler und Ausfälle. Hierzu müssen angemessene Verfahren für Ressourcenmanagement, Logging, Fehlerbehandlung und Back-ups implementiert sein.
Datenqualität
Datenqualität fordert das Vorhandensein eines Richtlinien-Rahmenwerks für die Datenverarbeitung und die Sicherstellung einer angemessenen Datenqualität. Dadurch soll gewährleistet werden, dass die Daten eines KI-Dienstes (Trainings- und Testdaten) geltende Vorgaben zur Datenqualität erfüllen.
Datenmanagement
Datenmanagement umfasst Kriterien zur strukturierten Erfassung und Übernahme von Daten zu Trainingszwecken des KI-Dienstes. Dazu werden datenbezogene Rahmenbedingungen festgelegt, die sowohl während der Entwicklung als auch im Betrieb des KI-Dienstes erfüllt werden und Schutz gegen unautorisierte Zugriffe bieten.
Erklärbarkeit
Erklärbarkeit beinhaltet die Umsetzung von Maßnahmen, die dem Nutzer eines KI-Dienstes helfen, die Entscheidungen der KI zu verstehen und nachzuvollziehen. Insbesondere bei KI-Diensten, deren Verfahren nicht vollständig nachvollzogen werden können, soll dem Nutzer – in Abhängigkeit von der Kritikalität des jeweiligen Anwendungsgebiets – transparent gemacht werden, welche Elemente des Dienstes nicht gänzlich erklärbar sind.
Bias
Bias zielt darauf ab, dass ein Bias („Voreingenommenheit“ durch fehlerhaft Daten bzw. deren fehlerhafte Verarbeitung), der sich beispielsweise in einem diskriminierenden Output des KI-Dienstes äußert, angemessen untersucht wird. Dabei sollen mathematische Verfahren zur Bewertung der Bias angewandt werden, um einen fairen Output und zugleich eine geeignete Performance des Algorithmus zu gewährleisten.
Voraussetzung:
BSI C5-Testat für sicheres Cloud Computing
Der Kriterienkatalog AIC4 ist für alle KI-Dienste konzipiert, die in Cloud-Umgebungen gehosted sind, unabhängig von ihrem Deployment-Szenario (Public, Private, Community oder Hybrid Clouds). Um neben dem KI-spezifischen Blickwinkel des AIC4 auch den sicheren Betrieb der zugrunde liegenden Cloud-Infrastruktur abzudecken, setzt eine Prüfung und Attestierung nach dem AIC4 ein BSI C5-Testat voraus. Der Cloud Computing Compliance Criteria Catalogue (C5) legt Mindestanforderungen an sicheres Cloud Computing fest und richtet sich an Cloud-Dienstleister, ihre Prüfer und Kunden. Der C5 wurde 2016 vom BSI erstmals veröffentlicht und hat sich seitdem als weltweit anerkannter Benchmark für sichere Cloud-Umgebungen etabliert. Im letzten Jahr wurde er im Dialog mit Nutzern, Prüfern, Regulatoren und Cloud-Anbietern grundlegend überarbeitet, um aktuelle technische Entwicklungen abzubilden.
Ein Testat nach den Kriterien des AIC4 wird im Rahmen von Non-Audit Assurance Engagements (NAAEs) vergeben, wobei die Ergebnisse einer Prüfung in einem detaillierten Prüfbericht nach dem International Standard on Assurance Engagements (ISAE) 3000 (Revised) festgehalten werden. In diesem treffen unabhängige Prüfer anhand entsprechender Kontrollhandlungen eine Aussage über die Konformität des untersuchten KI-Dienstes hinsichtlich der Einhaltung der AIC4-Kriterien. Der Prüfbericht wird dem KI-Dienstleister ausgehändigt, sodass dieser das Entwicklungs-, Betriebs- und Überwachungskonzept der KI seinen Nutzern gegenüber transparent nachweisen kann.
Fazit
Der AIC4 schafft erstmals ein standardisiertes Rahmenwerk mit konkreten Kriterien, um die Sicherheit, Transparenz und Robustheit von KI-Diensten zu etablieren. Seine Anwendung zur Prüfung von KI als auch zur Konzeption einer dedizierten KI-Governance baut Vertrauen zwischen KI-Dienstleistern und deren Nutzern auf. Der Katalog reflektiert die Forderungen der Regulatoren und Wirtschaftsprüfer und erhöht dadurch den Nutzen und die Aussagekraft der praktischen Anwendung von KI-Diensten. Somit legt der AIC4 den Grundstein zur Harmonisierung des deutschen KI-Marktes und schafft eine einheitliche Ausgangslage für einen vertrauensvollen Einsatz von KI.
Contact us
Follow us
