Fraunhofer-Institut für Kognitive Systeme IKS
Fraunhofer-Institut für Kognitive Systeme IKS

Robuscope: KI-Modelle online auf ihre Robustheit testen

Das Fraunhofer IKS bringt Sicherheit und Künstliche Intelligenz (KI) zusammen: Robuscope, eine neue Anwendung des Fraunhofer-Instituts für Kognitive Systeme IKS bewertet auf Knopfdruck die Zuverlässigkeit von Künstlicher Intelligenz.

Industrieunternehmen, Universitäten und andere wissenschaftliche Einrichtungen haben mit Robuscope die Möglichkeit, die von ihrem KI-Modell ermittelten Ergebnisse hinsichtlich ihrer Robustheit zu prüfen. Hierfür nutzt die neue Plattform Kennzahlen zur Unsicherheits- und Robustheitsbestimmung, um zu bewerten, wie sicher die jeweiligen Auswertungen der getesteten KI-Modelle sind. Um anschließend die getesteten KI-Modelle optimieren und damit sicherer gestalten zu können, liefert das Online-Tool des Fraunhofer IKS detaillierte Hinweise auf Verbesserungspotential.

Konkret liefert Robuscope Antworten auf folgende Fragen:

  • Wie zuverlässig ist die Selbsteinschätzung der Künstlichen Intelligenz?
  • Wie robust ist das Modell?
  • Von welcher Güte sind die Vorhersagen?

Das Besondere: Verlässliche Aussagen ohne sensible Daten

Zur Nutzung des Tools müssen keine sensiblen oder vertraulichen Daten hochgeladen werden wie beispielsweise das KI-Modell oder echte Daten. Die Qualität des genutzten KI-Modells wird anhand der Ergebnisse eines Testdatensatzes überprüft und bewertet werden.

Testen Sie Ihr KI-Modell

Optimierung für sicherheitskritische KI-Anwendungen im Bereich Computer Vision

Robuscope eignet sich insbesondere zur Unsicherheitsbestimmung von KI-Modellen in sicherheitskritischen Bereichen. Beispiele hierfür sind:

  • Medizintechnik
  • Logistik
  • Autonomes Fahren

Die erste Version der Anwendung konzentriert sich auf die Computer Vision, insbesondere die Bilderkennung (Perzeption) und allgemein die Klassifikation.

Ihr Nutzen: Sichere, erklärbare und robuste Künstliche Intelligenz

Mit Hilfe von Robuscope, der neuen Plattform des Fraunhofer IKS, lernen Sie, wann Sie Ihrer Künstlichen Intelligenz vertrauen können – und wann Sie ihr misstrauen sollten. Denn wenn Sie verstehen, an welchem Punkt Ihre KI scheitert, können Sie das Modell optimieren und damit die KI auch in sicherheitskritischen Anwendungen vertrauensvoll einsetzen.

Ergebnisse mit konkretem Praxisnutzen

Mit den Ergebnissen aus der Analyse des Fraunhofer IKS erhalten Sie wichtige Hinweise, wie Sie Ihre Künstliche Intelligenz, etwa Ihr neuronales Netzwerk, verbessern können, um diese auch in sicherheitskritischen Bereichen einsetzen zu können. Sie erfahren

  • wie zuverlässig die Vorhersagen Ihres Modells in Bezug auf speziell angepasste Robustheitsmetriken sind,
  • wie die Ergebnisse der Robustheitsanalyse zu interpretieren sind
  • und bekommen allgemeine Empfehlungen für die Weiterentwicklung Ihres KI-Modells.

Beispiel: Sichere KI in der medizinischen Diagnostik

Künstliche Intelligenz wird in der medizinischen Diagnostik insbesondere für die Analyse medizinischer Bilddaten wie CT- oder MRT-Aufnahmen immer wichtiger. Falsche Diagnosen oder nicht erkannte gesundheitliche Probleme haben für Patientinnen und Patienten schwerwiegende Folgen. Deswegen müssen die Ergebnisse eines KI-Modells immer zuverlässig und nachvollziehbar sein.

Insbesondere bei unklaren Ergebnissen ist die Frage: Wie geht das KI-System damit um? Ziel des Fraunhofer IKS ist es, den Grad der Unsicherheit von Vorhersagen zu nutzen, um KI-Modelle abzusichern. Nur, wenn sich das System sicher ist, darf es eine definitive Aussage treffen. Ist die Unsicherheit zu hoch, muss das System dies an das medizinische Personal kommunizieren, damit ein Mensch die Daten überprüfen kann. Robuscope, die Online-Anwendung des Fraunhofer IKS, setzt genau hier an und prüft, wie robust und sicher die Vorhersagen eines KI-Systems sind.

Arzt bei der Betrachtung von CT-Bildern einer Wirbelsäule
© iStock.com/megaflopp

So funktioniert Robuscope

Robuscope ermöglicht es Ihnen über eine einfache Benutzeroberfläche, Ihre KI-Modelle zu testen.

Schritt 1: Datei erstellen

Um Ihren Ergebnisdatensatz und damit die dahinterliegende KI, beispielsweise Ihr neuronales Netz, hinsichtlich seiner Robustheit zu prüfen, benötigen Sie zunächst eine Datei (.json) mit den zu prüfenden Ergebnisdaten. Es gibt keine Mindestanzahl an Datenpunkten, je mehr Datenpunkte Ihre Datei aber enthält und je repräsentativer die Daten sind, desto besser wird das Ergebnis der Auswertung. Empfohlen sind mindestens 30 Datenpunkte pro Klasse/Kategorie im Datensatz.

Wichtig: Sie müssen für die Auswertung keinerlei sensible Daten, wie Ihren KI-Algorithmus, bereitstellen, sondern lediglich einen Ergebnisdatensatz. Dieser kann auch Beispieldaten oder anonymisierte Daten statt Echtdaten enthalten.

Schritt 2: Datei hochladen

Laden Sie Ihre Datei über das dafür vorgesehene Feld auf der Robuscope-Website hoch.

Schritt 3: Analyse und Bewertung

Das Tool des Fraunhofer IKS analysiert nun Ihre Daten. Anhand von sicherheitsrelevanten Kennzahlen zur Bewertung von KI-Algorithmen ermittelt Robuscope, wie zuverlässig die Ergebnisse Ihrer Künstlichen Intelligenz sind. Sie erhalten darauf basierend Hinweise, mit welchen gängigen Methoden der Unsicherheitsbestimmung Sie die Ergebnisse verbessern und damit die Entscheidungsgrundlage Ihrer KI zuverlässiger gestalten können.

Die Ergebnisse der Analyse können Sie als eigenständige und interaktive HTML-Datei herunterladen und speichern.

Robuscope ist Teil von DEEP, der ML-Toolkette des Fraunhofer IKS

DEEP ist ein Softwaretool für die zuverlässige KI-gestützte Automatisierung von Systemen zur Qualitätsinspektion. Und Robuscope ist ein Teil davon. Mit DEEP ist es möglich, das Potenzial von Daten für die Bilderkennung mittels KI auf »Knopfdruck« zu bewerten und herauszufinden, welche ML-Verfahren sich besonders gut für die spezifischen Daten einer Anwendung eignen. In unserer Artikelserie in unserem Safe Intelligence Onlinemagazin erfahren Sie mehr:

 

© iStock.com/4maksym

Serie DEEP, Teil 1 / 18.12.2024

Zuverlässige KI ermöglicht Automatisierung von Qualitätsinspektion in der Industrie

Machine Learning (ML) gilt als Hoffnungsträger für die Automatisierung von Qualitätskontrollen in der Produktion, und das auch bei komplexen Anforderungen. Allerdings erfordern ML-Ansätze genügend große Datensätze, um das System zu trainieren, die häufig nicht zur Verfügung stehen. Die ML-Toolkette DEEP (Data Efficient Evaluation Platform) des Fraunhofer IKS schafft hier Abhilfe.

Serie DEEP, Teil 1
 

© iStock.com/4maksym

Serie DEEP, Teil 2 / 5.2.2025

Wenig Daten? Kein Problem!

DEEP, die Machine-Learning-Toolkette des Fraunhofer IKS, ermöglicht die Automatisierung von Qualitätskontrollen in der Produktion, und das auch bei komplexen Anforderungen. Wesentliche Bestandteile dieser Lösung sind die ebenfalls vom Fraunhofer IKS entwickelten Technologien FAST und Robuscope.

Serie DEEP, Teil 2
 

© iStock.com/4maksym

Serie DEEP, Teil 3 / 11.3.2025

Teilaufgaben machen komplexe Inspektionsprobleme lösbar

DEEP ist eine Machine-Learning-Toolkette des Fraunhofer IKS für die zuverlässige KI-gestützte Automatisierung von Qualitätsinspektions-Systemen. Hierzu kombiniert DEEP selbstständig verschiedene spezifische Fraunhofer-IKS-Technologien. Dieser Teil der Blogpost-Serie geht auf die konkreten Inhalte des Modular Concept Learning ein.

Serie DEEP, Teil 3
 

© iStock.com/4maksym

Serie DEEP, Teil 4 / 11.4.2025

Im Prozess führt DEEP Regie

Die vorherigen Teile unserer Serie sind auf die Technologien »unter der Motorhaube« von DEEP, der Machine-Learning-Toolkette des Fraunhofer IKS, eingegangen. Hier folgt mit den Prozessschritten des DEEP-Verfahrens der Blick auf das »große Ganze« – wie man DEEP einsetzen kann, um die Probleme beim Einsatz von Maschinellem Lernen (ML) für zukünftige flexible Qualitätsinspektion in den Griff zu bekommen.

Serie DEEP, Teil 4
 

© iStock.com/Helmagh

Testen Sie
die Robustheit
Ihrer KI
mit Robuscope! 

Jetzt loslegen

Dieses Vorhaben wurde im Rahmen des Projekts Unterstützung des thematischen Aufbaus des Instituts für Kognitive Systeme durch das Bayerische Staatsministerium für Wirtschaft, Landesentwicklung und Energie gefördert.