Fraunhofer-Institut für Kognitive Systeme IKS
Fraunhofer-Institut für Kognitive Systeme IKS

KI-Modelle online auf ihre Robustheit testen

Das Fraunhofer IKS bringt Sicherheit und Künstliche Intelligenz (KI) zusammen: Eine neue Anwendung des Fraunhofer-Instituts für Kognitive Systeme IKS bewertet auf Knopfdruck die Zuverlässigkeit von Künstlicher Intelligenz.

Industrieunternehmen, Universitäten und andere wissenschaftliche Einrichtungen haben damit die Möglichkeit, die von ihrem KI-Modell ermittelten Ergebnisse hinsichtlich ihrer Robustheit zu prüfen. Hierfür nutzt die neue Plattform Kennzahlen zur Unsicherheits- und Robustheitsbestimmung, um zu bewerten, wie sicher die jeweiligen Auswertungen der getesteten KI-Modelle sind. Um anschließend die getesteten KI-Modelle optimieren und damit sicherer gestalten zu können, liefert das Online-Tool des Fraunhofer IKS detaillierte Hinweise auf Verbesserungspotential.

Konkret liefert das Tool Antworten auf folgende Fragen:

  • Wie zuverlässig ist die Selbsteinschätzung der Künstlichen Intelligenz?
  • Wie robust ist das Modell?
  • Von welcher Güte sind die Vorhersagen?

Das Besondere: Verlässliche Aussagen ohne sensible Daten

Zur Nutzung des Tools müssen keine sensiblen oder vertraulichen Daten hochgeladen werden wie beispielsweise das KI-Modell oder echte Daten. Die Qualität des genutzten KI-Modells kann auch anhand der Ergebnisse eines Testdatensatzes überprüft und bewertet werden.

Testen Sie Ihr KI-Modell

Optimierung für sicherheitskritische KI-Anwendungen im Bereich Computer Vision

Das Tool eignet sich insbesondere zur Unsicherheitsbestimmung von KI-Modellen in sicherheitskritischen Bereichen. Beispiele hierfür sind:

  • Medizintechnik
  • Logistik
  • Autonomes Fahren

Die erste Version der Anwendung konzentriert sich auf die Computer Vision, insbesondere die Bilderkennung (Perzeption) und die Klassifikation. Eine Erweiterung des Tools für Regressionsanalysen ist für die Zukunft geplant.

Ihr Nutzen: Sichere, erklärbare und robuste Künstliche Intelligenz

Mit Hilfe der neuen Plattform des Fraunhofer IKS lernen Sie, wann Sie Ihrer Künstlichen Intelligenz vertrauen können – und wann Sie ihr misstrauen sollten. Denn wenn Sie verstehen, an welchem Punkt Ihre KI scheitert, können Sie das Modell optimieren und damit die KI auch in sicherheitskritischen Anwendungen vertrauensvoll einsetzen.

Ergebnisse mit konkretem Praxisnutzen

Mit den Ergebnissen aus der Analyse des Fraunhofer IKS erhalten Sie wichtige Hinweise, wie Sie Ihre Künstliche Intelligenz bzw. Ihr neuronales Netzwerk verbessern können, um diese auch in sicherheitskritischen Bereichen einsetzen zu können. Sie erfahren

  • wie zuverlässig die Vorhersagen Ihres Modells in Bezug auf speziell angepasste Robustheitsmetriken sind,
  • welche Methoden die Ergebnisse des Algorithmus verlässlicher machen können,
  • wie Sie das Training Ihrer Künstlichen Intelligenz verbessern
  • und bekommen allgemeine Empfehlungen für die Weiterentwicklung Ihres KI-Modells

Beispiel: Sichere KI in der medizinischen Diagnostik

Künstliche Intelligenz wird in der medizinischen Diagnostik insbesondere für die Analyse medizinischer Bilddaten wie CT- oder MRT-Aufnahmen immer wichtiger. Falsche Diagnosen oder nicht erkannte gesundheitliche Probleme haben für Patientinnen und Patienten schwerwiegende Folgen. Deswegen müssen die Ergebnisse eines KI-Modells immer zuverlässig und nachvollziehbar sein.

Insbesondere bei unklaren Ergebnissen ist die Frage: Wie geht das KI-System damit um? Ziel des Fraunhofer IKS ist es, den Grad der Unsicherheit von Vorhersagen zu nutzen, um KI-Modelle abzusichern. Nur, wenn sich das System sicher ist, darf es eine definitive Aussage treffen. Ist die Unsicherheit zu hoch, muss das System dies an das medizinische Personal kommunizieren, damit ein Mensch die Daten überprüfen kann. Die Online-Anwendung des Fraunhofer IKS setzt genau hier an und prüft, wie robust und sicher die Vorhersagen eines KI-Systems sind.

Arzt bei der Betrachtung von CT-Bildern einer Wirbelsäule
© iStock.com/megaflopp

So funktioniert die Plattform

Die Plattform des Fraunhofer IKS ermöglicht es Ihnen über eine einfache Benutzeroberfläche, Ihre KI-Modelle zu testen.

Schritt 1: Datei erstellen

Um Ihren Ergebnisdatensatz und damit die dahinterliegende KI bzw. Ihr neuronales Netz hinsichtlich seiner Robustheit zu prüfen, benötigen Sie zunächst eine Datei (.json oder .xlsx) mit den zu prüfenden Ergebnisdaten. Es gibt keine Mindestanzahl an Datenpunkten, je mehr Datenpunkte Ihre Datei aber enthält, desto besser wird das Ergebnis der Auswertung. Empfohlen sind mindestens 100 Datenpunkte.

Wichtig: Sie müssen für die Auswertung keinerlei sensible Daten, wie Ihren KI-Algorithmus, bereitstellen, sondern lediglich einen Ergebnisdatensatz. Dieser kann auch Beispieldaten oder anonymisierte Daten statt Echtdaten enthalten.

Schritt 2: Datei hochladen

Laden Sie Ihre Datei über das dafür vorgesehene Feld in die Anwendung des Fraunhofer IKS hoch.

Schritt 3: Analyse und Bewertung

Das Tool des Fraunhofer IKS analysiert nun Ihre Daten. Anhand von sicherheitsrelevanten Kennzahlen zur Bewertung von KI-Algorithmen ermittelt die Anwendung, wie zuverlässig die Ergebnisse Ihrer Künstlichen Intelligenz sind. Sie erhalten darauf basierend Hinweise, mit welchen gängigen Methoden der Unsicherheitsbestimmung Sie die Ergebnisse verbessern und damit die Entscheidungsgrundlage Ihrer KI zuverlässiger gestalten können.

Standardmäßig erhalten Sie in der Analyse die Auswertung folgender fünf Methoden:

  • Confusion
  • Calibration
  • Uncertainty Ratios
  • Remaining Error
  • Prediction Rejection Curve

Die Ergebnisse der Analyse können Sie als PDF herunterladen und speichern.

E-Mailverteiler

Vielen Dank für Ihr Interesse am Online-Tools des Fraunhofer IKS.

Wir haben Ihnen soeben eine Bestätigungsmail geschickt. Sollten Sie in den nächsten Minuten keine E-Mail erhalten, prüfen Sie bitte Ihren Spam-Ordner oder schicken Sie uns eine E-Mail an safe-intelligence@iks.fraunhofer.de.

* Pflichtfelder

Es ist ein Fehler aufgetreten. Bitte versuchen Sie es erneut oder kontaktieren Sie uns per E-Mail: safe-intelligence@iks.fraunhofer.de

Datenschutzerklärung

Dieses Vorhaben wird im Rahmen des Projekts Unterstützung des thematischen Aufbaus des Instituts für Kognitive Systeme durch das Bayerische Staatsministerium für Wirtschaft, Landesentwicklung und Energie gefördert.