Künstliche Intelligenz: Robustheit und Performance für nachhaltigen Erfolg

23 September, 2019

Künstliche Intelligenz (KI) ist in der Lage, komplexe Aufgaben zu automatisieren. Damit greift KI, obwohl wir heutzutage noch von „einfacher KI“ sprechen, in vielen Fällen bereits tief in Prozesse ein. Sicherheit ist daher bei Softwarelösungen mit Künstlicher Intelligenz enorm wichtig.

Denn liegen ausnutzbare Schwachstellen in KI-Modellen vor, können die Schadenspotenziale gewaltig sein. Allerdings lassen sich KI-Systeme so robust gestalten, dass drastische Konsequenzen ausbleiben – und dennoch bestmögliche Performance bringen.

KI-Systeme und Machine-Learning-Anwendungen müssen robust sein

„Robustness“ – was bedeutet das?

„Robust“ sind solche Lösungen, die unter Unsicherheit weiterhin eine gute Performance bieten, sprich: Die Fähigkeit eines KI-Algorithmus, über die Trainingsdaten hinaus zu generalisieren. Bei der Entwicklung von KI-Systemen sollte diese Fähigkeit gezielt umgesetzt werden. Die Kernaufgabe für Unternehmen besteht darin, zugleich größtmögliche Sicherheit und bestmögliche Performance zu implementieren.

„Adversarial Examples“ haben enormes Schadenspotenzial

Schon im Jahr 2014 haben Forscher von Google Brain, der Deep-Learning-Abteilung des Technologiekonzerns, eine damals neuartige, große Anfälligkeit neuronaler Netze entdeckt: Bilder lassen sich so verändern, dass KI-Systeme deren Klassifizierung ungewollt ändern, sogenannte „adversarial examples“. Hier sind zwei Arten zu unterscheiden: digitale und physikalische „adversarial examples“.

  • Digitale „adversarial examples“ nutzen etwa Schnittstellen oder Systeme zur Bilderkennung, also bei digitalen Inputdaten - wie beispielsweise medizinischen Anwendungen, bei denen Bilderkennung anhand digitaler Bilder zu Krankheitsdiagnosen dienen.
  • Physikalische „adversarial examples“ können zum Beispiel ausgedruckte 3-D-Objekte sein. Angreifer stellen sie etwa auf Oberflächen, wo sie die Maschine als Bild erkennt. Auch gezielt gestaltete Aufkleber lassen sich auf diese Weise zur Manipulation einsetzen.

Optische und akustische Täuschungen für Maschinen

Was bedeutet das konkret? Zeigt ein Bild beispielsweise einen Tennisball, können Angreifer das Bild durch minimale Veränderungen so manipulieren, dass es für das menschliche Auge nach wie vor wie ein Tennisball aussieht. Die Maschine erkennt in dem Bild aber ein Auto. Solche „optischen Täuschungen“ für intelligente Systeme bergen enormes Schadenspotenzial und sind bei allen Anwendungen im Bereich Computer Vision relevant. Dazu gehören etwa:

  • Image Recognition (Bilderkennung),
  • Image Segmentation (Bildverarbeitung) und
  • Object Detection (Objekterkennung).

Selbstfahrende Autos zum Beispiel erkennen, ob es sich bei einem Objekt um ein spielendes Kind auf dem Bürgersteig handelt. Läuft alles richtig und wie gewollt, bremst das Auto ab. Angreifer könnten allerdings – etwa durch Zugriff auf die Autokamera oder andere bildverarbeitende Schnittstellen – vortäuschen, dass es sich nicht um den Bürgersteig, sondern um die Fahrbahn handelt. Oder es rechnet das spielende Kind einfach aus dem Bild heraus.

Solche Szenarien sind technisch möglich – und die potenziellen Folgen drastisch. Seit 2017 sind auch „akustische Täuschungen“ möglich. Dafür bauen Angreifer beispielsweise Geräusche in Tonspuren ein, die für das menschliche Ohr zwar prinzipiell hörbar sind, auf die die meisten Menschen aber nicht achten. KI-Systeme interpretieren solche Geräusche möglicherweise als Befehl, der zu unerwünschten Ergebnissen führen kann. Solche Angriffsszenarien werden zunehmend relevant, nicht zuletzt durch die Verbreitung von Sprachassistenten in Smartphones und Smart Speakern in Wohnzimmern. Technologiekonzerne arbeiten zudem daran, die menschliche Stimme als Authentifizierungsverfahren einzusetzen – ähnlich wie die Gesichtserkennung oder den Fingerabdruck. Denkbare Anwendungen sind Banken-Apps. Geraten sensible Daten in falsche Hände, schadet dies Kunden und Unternehmen gleichermaßen – letztere müssen mit finanziellen Schäden und Reputationsverlusten rechnen.

„Solche Angriffsszenarien finden aktuell noch hauptsächlich unter Laborbedingungen statt: Technologiekonzerne, aber auch Start-ups, Universitäten und andere Forschungseinrichtungen entwickeln mögliche Attacken und Verteidigungsmaßnahmen. Dabei gilt: Mögliche reale Schadensszenarien sind keineswegs Utopie.“

Hendrik Reese, Director, Artificial Intelligence, PwC Germany

Robustheit und Performance entscheiden gleichermaßen über den KI-Erfolg

Anwender von KI- und Machine-Learning-Systemen sollten daher von vornherein beim Design auf größtmögliche Robustheit ihrer Systeme achten. Hierbei gilt es, die richtige Balance zwischen Robustheit und Performance zu finden. Um Bildmanipulationen wie die oben geschilderten zu verhindern, gibt es unterschiedliche Möglichkeiten, KI-Systeme zu „härten“. Es lassen sich beispielsweise Filter integrieren, die Bilder mit bestimmten Anzeichen für Manipulationen ausschließen, zum Beispiel indem Algorithmen das digitale Bildrauschen entfernen. Dies hat allerdings meist Auswirkungen auf die Performance, also die Leistungsfähigkeit der Systeme. Sie verarbeiten den Input langsamer, um die gewünschten Ergebnisse zu liefern oder werden ungenauer. Um das oben geschilderte Beispiel aufzugreifen: Das System kann nicht mehr zu 100 Prozent, sondern vielleicht nur noch zu 90 Prozent sicher sein, dass es sich in dem gezeigten Bild um einen Tennisball handelt.

Unser Angebot für Sie: Attackieren und Vorbeugen unter realen Bedingungen 

Ihr Experte für Fragen

Hendrik Reese ist Director des Bereichs Trust in AI und Responsible AI bei PwC Deutschland

Hendrik Reese
Director, Artificial Intelligence,
PwC Germany
Tel.: +49 89 5790-6093

E-Mail

PwC arbeitet intensiv daran, KI-Systeme, Machine-Learning-Anwendungen und neuronale Netze so zu trainieren und zu härten, dass größtmögliche Sicherheit mit maximaler Performance einhergeht. Dazu evaluieren wir die Sicherheit vorhandener oder zu entwickelnder Systeme. Dabei fragen wir nach

  • möglichen Angriffspunkten,
  • potenziellen Schadensszenarien und
  • geeigneten Härtungsmaßnahmen.

Ein Beispiel dafür: Ein Maschinenbau-Unternehmen setzt Kameras ein, die bestimmte Teile auf Qualität prüfen. Das System soll auf Grund des Inputs – der erstellten Bilder – selbstständig entscheiden, ob das Produkt an Kunden ausgeliefert werden soll oder nicht. Welche Manipulationen sind durch Zugriff auf die Kamera möglich? Welche anderen Schnittstellen im System des Unternehmens bieten Angriffspunkte? Welche Performance ist nötig, um das System wirtschaftlich einzusetzen? Welche Maßnahmen sind erforderlich, um negative Auswirkungen mit hoher Sicherheit zu verhindern? Diese und weitere Aspekte untersuchen wir intensiv und im engen Austausch mit den Verantwortlichen im Unternehmen. 

Auch solche Unternehmen sind anfällig, die Systeme zur automatischen Rechnungserkennung einsetzen. Da nicht nur Bilder und Audios, sondern auch textbasierte Systeme manipulierbar sind, könnten Angreifer etwa Rechnungen in Gutschriften umwandeln, Rechnungsbeträge oder Kontodaten zu ihren Gunsten verändern.

Bei all diesen Szenarien verfolgen wir keinen rein theoretischen Ansatz, sondern arbeiten „hands on“: In simulierten oder tatsächlich durchgeführten Attacken identifizieren wir Schwachstellen und zeigen die ideale Trainingsstrategie für das System auf. Wir greifen dabei auf die jeweils neuesten Angriffs- und Verteidigungsszenarien zu – und entwickeln sie sogar selbst. So können Unternehmen sicher sein, dass sie ihre KI-Anwendungen robust und mit hoher Leistungsfähigkeit einsetzen können.

Contact us

Hendrik Reese

Hendrik Reese

Director, Artificial Intelligence, PwC Germany

Tel.: +49 89 5790-6093

Follow us