Fraunhofer-Institut für Kognitive Systeme IKSWie wird das autonome Fahren Realität? Damit befasst sich das Projekt Safe AI Engineering, indem es die Grundlagen schafft für einen im Markt allgemein akzeptierten, praxistauglichen Sicherheitsnachweis von KI.
Safe AI Engineering
AI Engineering als Enabler für eine fundierte Sicherheitsargumentation über den gesamten Lebenszyklus einer KI-Funktion
KI im automatisierten Fahrzeug muss sicher sein
Im Projekt Safe AI Engineering wird untersucht, wie Künstliche Intelligenz (KI) sicher und nachvollziehbar in sicherheitskritische Systeme integriert werden kann, insbesondere in automatisierte Fahrzeuge.
Ziel ist es, Methoden und Sicherheitsnachweise zu entwickeln, die sowohl die korrekte Funktion als auch das kontinuierliche Monitoring von KI-basierten Funktionen gewährleisten. Dadurch soll die behördliche Zulassung ermöglicht und die öffentliche Akzeptanz gefördert werden.
Herausforderung: KI-Entscheidungen sind schwer nachvollziehbar
Der Einsatz von KI in sicherheitskritischen Systemen wird allerdings durch mehrere Herausforderungen erschwert. Dazu zählen:
- die Komplexität moderner KI-Modelle,
- die schwierige Nachvollziehbarkeit von KI-Entscheidungen,
- die Vielfalt realistischer und synthetischer Fahrdaten sowie
- die Einhaltung und Verknüpfung etablierter Sicherheitsstandards.
Zusätzlich erschweren wechselnde Umgebungsbedingungen, komplexe und bislang nur unzureichend untersuchte Wirkzusammenhänge und die kontinuierliche Weiterentwicklung der KI die Nachweisführung.
Iterativ zur Sicherheitsargumentation von KI-Funktionen
Das Projekt Safe AI Engineering verfolgt einen iterativen, praxisnahen Ansatz, um diese Herausforderungen zu lösen: Anhand einer konkreten KI-Perzeptionsfunktion zur Fußgängererkennung wird die Safe AI Engineering Methodik in drei aufeinander aufbauenden Use Cases mit steigender Komplexität entwickelt und evaluiert. Dabei werden reale und synthetische Daten genutzt, Qualitätsmetriken gemäß relevanter Sicherheitsnormen betrachtet und neue Methoden zur Datenaufbereitung, zum Monitoring und zur Erklärbarkeit von KI-Systemen angewendet.
Ziel der Arbeit ist eine Sicherheitsargumentation von KI-Funktionen für das autonome Fahren über den gesamten Lebenszyklus. Diese umfasst die Planung, Entwicklung, Testen, Deployment, Monitoring und Einbettung im Gesamtsystem.
Zudem werden Prüfmethoden und Normen (ISO 26262, SOTIF, ISO/PAS 8800) integriert. Damit schließt Safe AI Engineering die Lücke zwischen Verifikation & Validierung sowie Sicherheitsnachweisen für KI.
Das Fraunhofer IKS im Safe AI Engineering Projekt
Co-Leitung zur formalen Untermauerung der Sicherheitsargumentation
Das Fraunhofer IKS übernimmt im Projekt die Co-Leitung des Arbeitspakets zur formalen Untermauerung der Sicherheitsargumentation.
Schwerpunkte sind die Ableitung technischer Sicherheitsanforderungen und Akzeptanzkriterien aus Standards, sowie die Analyse von komplexen Ursache-Wirkungszusammenhängen und deren Auswirkungen auf Unsicherheiten bei der Sicherheitsbewertung von KI-basierten Systemen. Dazu wird ein unsicherheitsgetriebener Argumentationsansatz entwickelt, der Sicherheitsanforderungen als Design-Kontrakte formuliert und deren Erfüllung auf Komponenten- und Funktionsebene nachweist.
Außerdem entwickelt das Fraunhofer IKS einen formal abgesicherten Ansatz, mit dem die Integrität, Validität und Konfidenz von Sicherheitsargumenten klar dargestellt und der Grad der Vertragserfüllung quantifiziert werden kann. Dies ermöglicht eine transparente und nachvollziehbare Bewertung der KI-Sicherheit.
Um am Ende einen reibungslosen Übergang der Konzepte auf die vorhandenen Hardwareplattformen zu ermöglichen, konzentriert sich das Fraunhofer IKS auch auf die Integration und Validierung des im Rahmen des Projekts eingerichteten KI-Systems. So wird beispielsweise eine frühzeitige Validierung der entwickelten Konzepte auf einer virtuellen Plattform ermöglicht.
Unsere APIKS-Plattform unterstützt das kontinuierliche Safety Engineering
Darüber hinaus trägt das Fraunhofer IKS mit seiner APIKS-Plattform Methoden für kontinuierliches Safety Engineering und Absicherung zur Laufzeit bei.
APIKS ermöglicht Rapid Prototyping und Validierung auf Systemebene durch die Verknüpfung eines modularen ROS2-basierten Stacks mit Simulationswerkzeugen wie CARLA. Dies unterstützt die iterative Entwicklung, Integration und kontinuierliche Überwachung von KI-basierten Perzeptionsfunktionen unter realistischen Bedingungen und trägt dazu bei, sog. Safety Claims (Behauptungen über sicherheitsrelevante Aspekte) zu untermauern. Damit wird das für die Zulassung und öffentliche Akzeptanz erforderliche Vertrauen aufgebaut, bevor die Integration in reale Hardware erfolgt.
Safe AI Engineering ebnet den Weg zur behördlichen Zulassung
Durch seine strukturierte Herangehensweise schafft das Projekt Safe AI Engineering belastbare Bausteine für einen Sicherheitsnachweis von KI-Funktionen im Fahrzeug. Die entwickelte Safe AI Engineering Methodik soll als Grundlage für einen einheitlichen, nachvollziehbaren Nachweis der Sicherheit von KI in automatisierten Fahrzeugen dienen und damit zur behördlichen Zulassung beitragen. Zudem werden praxisnahe Demonstratoren (inkl. virtueller Simulationsumgebung) erarbeitet und messbare Fortschritte in der Robustheit und Transparenz von KI-Systemen erzielt.
Safe AI Engineering ist ein Projekt der KI Familie. Es wurde aus der VDA Leitinitiative autonomes und vernetztes Fahren initiiert und entwickelt. Das Projekt wird vom Bundesministerium für Wirtschaft und Energie gefördert.
