Fraunhofer-Institut für Kognitive Systeme IKS
Fraunhofer-Institut für Kognitive Systeme IKS

Robuscope: KI-Modelle online auf ihre Robustheit testen

Das Fraunhofer IKS bringt Sicherheit und Künstliche Intelligenz (KI) zusammen: Robuscope, eine neue Anwendung des Fraunhofer-Instituts für Kognitive Systeme IKS bewertet auf Knopfdruck die Zuverlässigkeit von Künstlicher Intelligenz.

Industrieunternehmen, Universitäten und andere wissenschaftliche Einrichtungen haben mit Robuscope die Möglichkeit, die von ihrem KI-Modell ermittelten Ergebnisse hinsichtlich ihrer Robustheit zu prüfen. Hierfür nutzt die neue Plattform Kennzahlen zur Unsicherheits- und Robustheitsbestimmung, um zu bewerten, wie sicher die jeweiligen Auswertungen der getesteten KI-Modelle sind. Um anschließend die getesteten KI-Modelle optimieren und damit sicherer gestalten zu können, liefert das Online-Tool des Fraunhofer IKS detaillierte Hinweise auf Verbesserungspotential.

Konkret liefert Robuscope Antworten auf folgende Fragen:

  • Wie zuverlässig ist die Selbsteinschätzung der Künstlichen Intelligenz?
  • Wie robust ist das Modell?
  • Von welcher Güte sind die Vorhersagen?

Das Besondere: Verlässliche Aussagen ohne sensible Daten

Zur Nutzung des Tools müssen keine sensiblen oder vertraulichen Daten hochgeladen werden wie beispielsweise das KI-Modell oder echte Daten. Die Qualität des genutzten KI-Modells wird anhand der Ergebnisse eines Testdatensatzes überprüft und bewertet werden.

Testen Sie Ihr KI-Modell

Optimierung für sicherheitskritische KI-Anwendungen im Bereich Computer Vision

Robuscope eignet sich insbesondere zur Unsicherheitsbestimmung von KI-Modellen in sicherheitskritischen Bereichen. Beispiele hierfür sind:

  • Medizintechnik
  • Logistik
  • Autonomes Fahren

Die erste Version der Anwendung konzentriert sich auf die Computer Vision, insbesondere die Bilderkennung (Perzeption) und allgemein die Klassifikation.

Ihr Nutzen: Sichere, erklärbare und robuste Künstliche Intelligenz

Mit Hilfe von Robuscope, der neuen Plattform des Fraunhofer IKS, lernen Sie, wann Sie Ihrer Künstlichen Intelligenz vertrauen können – und wann Sie ihr misstrauen sollten. Denn wenn Sie verstehen, an welchem Punkt Ihre KI scheitert, können Sie das Modell optimieren und damit die KI auch in sicherheitskritischen Anwendungen vertrauensvoll einsetzen.

Ergebnisse mit konkretem Praxisnutzen

Mit den Ergebnissen aus der Analyse des Fraunhofer IKS erhalten Sie wichtige Hinweise, wie Sie Ihre Künstliche Intelligenz, etwa Ihr neuronales Netzwerk, verbessern können, um diese auch in sicherheitskritischen Bereichen einsetzen zu können. Sie erfahren

  • wie zuverlässig die Vorhersagen Ihres Modells in Bezug auf speziell angepasste Robustheitsmetriken sind,
  • wie die Ergebnisse der Robustheitsanalyse zu interpretieren sind
  • und bekommen allgemeine Empfehlungen für die Weiterentwicklung Ihres KI-Modells.

Beispiel: Sichere KI in der medizinischen Diagnostik

Künstliche Intelligenz wird in der medizinischen Diagnostik insbesondere für die Analyse medizinischer Bilddaten wie CT- oder MRT-Aufnahmen immer wichtiger. Falsche Diagnosen oder nicht erkannte gesundheitliche Probleme haben für Patientinnen und Patienten schwerwiegende Folgen. Deswegen müssen die Ergebnisse eines KI-Modells immer zuverlässig und nachvollziehbar sein.

Insbesondere bei unklaren Ergebnissen ist die Frage: Wie geht das KI-System damit um? Ziel des Fraunhofer IKS ist es, den Grad der Unsicherheit von Vorhersagen zu nutzen, um KI-Modelle abzusichern. Nur, wenn sich das System sicher ist, darf es eine definitive Aussage treffen. Ist die Unsicherheit zu hoch, muss das System dies an das medizinische Personal kommunizieren, damit ein Mensch die Daten überprüfen kann. Robuscope, die Online-Anwendung des Fraunhofer IKS, setzt genau hier an und prüft, wie robust und sicher die Vorhersagen eines KI-Systems sind.

Arzt bei der Betrachtung von CT-Bildern einer Wirbelsäule
© iStock.com/megaflopp

So funktioniert Robuscope

Robuscope ermöglicht es Ihnen über eine einfache Benutzeroberfläche, Ihre KI-Modelle zu testen.

Schritt 1: Datei erstellen

Um Ihren Ergebnisdatensatz und damit die dahinterliegende KI, beispielsweise Ihr neuronales Netz, hinsichtlich seiner Robustheit zu prüfen, benötigen Sie zunächst eine Datei (.json) mit den zu prüfenden Ergebnisdaten. Es gibt keine Mindestanzahl an Datenpunkten, je mehr Datenpunkte Ihre Datei aber enthält und je repräsentativer die Daten sind, desto besser wird das Ergebnis der Auswertung. Empfohlen sind mindestens 30 Datenpunkte pro Klasse/Kategorie im Datensatz.

Wichtig: Sie müssen für die Auswertung keinerlei sensible Daten, wie Ihren KI-Algorithmus, bereitstellen, sondern lediglich einen Ergebnisdatensatz. Dieser kann auch Beispieldaten oder anonymisierte Daten statt Echtdaten enthalten.

Schritt 2: Datei hochladen

Laden Sie Ihre Datei über das dafür vorgesehene Feld auf der Robuscope-Website hoch.

Schritt 3: Analyse und Bewertung

Das Tool des Fraunhofer IKS analysiert nun Ihre Daten. Anhand von sicherheitsrelevanten Kennzahlen zur Bewertung von KI-Algorithmen ermittelt Robuscope, wie zuverlässig die Ergebnisse Ihrer Künstlichen Intelligenz sind. Sie erhalten darauf basierend Hinweise, mit welchen gängigen Methoden der Unsicherheitsbestimmung Sie die Ergebnisse verbessern und damit die Entscheidungsgrundlage Ihrer KI zuverlässiger gestalten können.

Die Ergebnisse der Analyse können Sie als eigenständige und interaktive HTML-Datei herunterladen und speichern.

Dieses Vorhaben wurde im Rahmen des Projekts Unterstützung des thematischen Aufbaus des Instituts für Kognitive Systeme durch das Bayerische Staatsministerium für Wirtschaft, Landesentwicklung und Energie gefördert.