Safety-Architekturen für KI-basierte Systeme

Künstliche Intelligenz muss abgesichert sein

KI-basierte, autonome Systeme sind anfällig für sporadische Fehler. Doch solche Fehler, ausgelöst beispielsweise durch schlechte Wetterbedingungen oder nicht gelernte Situationen, können schwerwiegende Folgen haben. Aus diesem Grund arbeitet das Fraunhofer-Institut für Kognitive Systeme IKS an Methoden zur automatisierten Absicherung von Künstlicher Intelligenz (KI) und autonomen Systemen. Ziel ist es, trotz erwartet oder unerwartet auftretender Ereignisse jederzeit in einen sicheren Zustand wechseln zu können, ohne das System stoppen oder abschalten zu müssen.

KI in der Industrie und beim autonomen Fahren

Künstliche Intelligenz und autonome Systeme werden unter anderem in der Produktion, Logistik, Materialprüfung oder bei der Perzeptionsüberwachung für das autonome Fahren eingesetzt. Gerade hier müssen sicherheitskritische Situationen oder teure Ausfälle vermieden werden, das heißt die Systeme müssen ausreichend abgesichert werden. Das Fraunhofer-Institut für Kognitive Systeme IKS entwickelt deswegen spezielle Safety-Architekturen, die das Gesamtsystem absichern, in dem die KI verwendet wird.

Das Fraunhofer IKS entwickelt eine umfassende KI-Safety-Architektur

© iStock.com/beerphotographer

Für eine umfassende KI-Safety-Architektur, die eine Zertifizierung von KI-Anwendungen ermöglicht, bietet das Fraunhofer IKS verschiedene Bausteine.

Diese beinhalten:

  • die intelligente Cross-Validierung vorhandener interner und externer Sensoren für ein verlässliches Environment Model,
  • einen Assistenten zur systematischen Safety-Analyse für KI-Anwendungen und
  • die automatisierte Überwachung der KI, um die Safety-Anforderungen einzuhalten.

Modulare Sicherheitsnachweise für gutes Lifecycle-Management

Ein weiterer Sicherheitsfaktor ist das Lifecycle-Management KI-basierter Anwendungen, damit Software- und KI-Stände schnell angepasst und sehr kurze Zertifizierungsintervalle erreicht werden können. Mit unseren Methoden und Tools unterstützen wir die Erbringung modularer Sicherheitsnachweise und ermöglichen die Bereitstellung von Safety-Funktion über bekannte DevOps Frameworks.

Adaptives Safety-Management

Die Fähigkeit, sich selbst an die Umgebung und den aktuellen Zustand anpassen zu können, wird für autonome Systeme immer wichtiger. Mit unseren dynamischen Ansätzen zum Adaptiven Safety-Management ermöglichen wir einen flexiblen Umgang mit Risiken in Abhängigkeit von Umfeldbedingungen und dem aktuellen Systemzustand. Gefahrensituationen können so differenziert bewertet und situationsabhängig die Verlässlichkeit der KI eingeschätzt werden.