Continuous Safety Assurance für KI-basierte Fahrfunktionen

Der Einsatz von KI ermöglicht oft erst die Realisierung von neuen Fahrfunktionen. Diese KI-basierte Innovation bringt jedoch beim Einsatz in sicherheitskritischen Bereichen ein schwer vorhersehbares Risiko.

Das Fraunhofer IKS bietet in diesem Kontext ein abgestimmtes Lösungsportfolio, um dieses Risiko zu bestimmen und entsprechend auf ein akzeptables Maß zu begrenzen.
 

Im Detail beinhaltet dieses Portfolio die folgenden entwicklungsbegleitenden Lösungen:

• Definition des akzeptablen Restrisikos und Akzeptanzkriterien: Wir unterstützen Sie bei der Definition des akzeptablen Restrisikos (z.B. mithilfe von MEM, ALARP, GAMAB oder positiver Risikobilanz) und das Herunterbrechen dieses akzeptablen Restrisikos auf messbare Akzeptanzkriterien für einzelne Komponenten und ML-Modelle.
• Definition der Operational Design Domain (ODD): Definieren Sie ODDs auf Basis neuester Standards und koppeln Sie Ihre ODD-Definitionen automatisiert mit nachgelagerten Sicherheitsanalysen und V&V-Aktivitäten.
• Auswahl relevanter Safety-related Properties & Metriken: Entwickeln Sie ein nachvollziehbares Konzept wie Sicherheitsanforderungen durch eine konkrete Kombination aus sicherheitsrelevanten Metriken erreicht werden können.
• Sichere ML-Architekturen & Monitore: Nutzen Sie bereits erprobte ML-Architekturen, sparen Sie Zeit bei der Auswahl geeigneter KI-Modelle und leiten Sie aus Ihrer Sicherheitsargumentation automatisiert Monitore zur Laufzeitüberwachung ab.
• Effizientes V&V: Nutzen Sie Methoden zur zielgerichteten Sammlung von Evidenzen und nutzen Sie diese zum Aufbau einer empirisch belastbaren Sicherheitsargumentation. Das Fraunhofer IKS verfügt über Methoden um die Performanzinformationen, wie die Genauigkeit der Objekterkennung, Genauigkeit der Fahrwegplanung, Ortungsgenauigkeit und Kollisionsrate in eine Sicherheitsargumentation zu integrieren.
• Regularien- u. Normkonformität: Nutzen Sie unser Assurance Framework for AI High-Risk Systems um Konformität zu Normen wie ISO 21448, ISO 8800 oder dem EU AI Act in einem System zu erreichen.
• LLMs & Agenten: Wollen Sie Ihr Safety Engineering auf die nächste Ebene bringen? Wir unterstützen Sie beim sicheren Einsatz von LLMs und Agenten in Ihren Entwicklungsprozessen, wie bei der HARA oder dem Requirements Engineering.

Jetzt Kontakt Aufnehmen

Nachdem alle Safety-Engineering-Schritte durchgeführt wurden, um ein sicheres KI-basiertes Produkt auf den Markt zu bringen, ist davon auszugehen, dass das Restrisiko des Systems akzeptierbar klein ist.

Hier endet jedoch noch nicht die Verpflichtung zur Gewährleistung der Sicherheit. Etliche Standards und Regulierungen, wie z.B. ISO 21448, fordern eine Überwachung des Betriebs, um bisher unbekannte Risiken im Feld schnell zu erkennen und geeignete Gegenmaßnahmen zu ergreifen.

Das Fraunhofer IKS unterstützt Unternehmen dabei diese Anforderungen durch die Etablierung eines »Continuous Safety Engineering«-Prozesses (auch Dynamic Safety genannt) effizient und sicher zu erreichen.
 

Im Detail adressiert der Prozess folgende Aspekte:

• Automatisiertes Monitoring: Durch die automatisierte Generierung von Monitoring-Komponenten aus einer formalisierten Sicherheitsargumentation lassen sich alle unsicherheitsbehafteten Annahmen einfach im Feld überwachen.
• Frühzeitige Risikomitigierung: Durch die mehrschichtige Überwachungsstruktur können Sie Abweichungen vom erwarteten Verhalten bereits aus unüblichen Metrikwerten identifizieren. Somit können sie auf im Feld neu aufgetretene Risiken reagieren bevor diese zu Unfällen führen.
• Effiziente Suche nach Fehlerursachen: Eine automatisierte Speicherung relevanter Daten und Rückführung in die Entwicklungssysteme ermöglicht es, zielgerichtet und effizient nach der zugrundeliegenden Ursache zu suchen und so rasch geeignete Gegenmaßnahmen zu entwerfen.
• Sichere Updates: Wir unterstützen Sie bei der Konzeption von Lösungen, um schnell und sicher Updates für die Fahrzeugflotte bereitzustellen.

Jetzt Kontakt Aufnehmen

Aufbauend auf den entwicklungsbegleitenden Maßnahmen und der Laufzeitabsicherung liefert das Fraunhofer IKS Unterstützung bei der Erstellung von evidenzbasierten, kontinuierlichen Sicherheitsnachweisen, die Anforderungen, V&V-Ergebnisse und Laufzeitdaten über den gesamten Lebenszyklus konsistent verknüpfen. Die resultierenden evidenz-basierten Sicherheitsnachweise für KI-basierte Funktionen sind anschlussfähig an ISO PAS 8800, SOTIF und ISO 26262.

Kern ist eine strukturierte Safety-Case-Architektur (u. a. GSN), die Evidenzen, Annahmen und Gegenargumente (Defeaters) transparent macht und Konfidenz von der Evidenz bis zum Claim quantifiziert und propagiert. Wir modellieren Risiko, Komplexität und Unsicherheiten kausal (Triggering Conditions, Influencing Factors, Insufficiencies) und nutzen diese Modelle zur gezielten Evidenzplanung.

Durch dynamische Safety Cases integrieren wir Laufzeitevidenz und Safety Performance Indicators für echte Continuous Assurance; Modularität und Wiederverwendung sichern wir über formalisierte Assurance Contracts. Ergebnis sind normkonforme, entscheidungsreife Argumente sowie Prototypen, Tools, Trainings und Reviews – praxisbewährt für Automotive, Rail und Aviation.

Damit schließen wir die Lücke zwischen Verifikation & Validierung und dem Sicherheitsnachweis – iterativ über den gesamten Lebenszyklus. Das beschleunigt Freigaben und schafft eine belastbare Basis für die behördliche Zulassung.

Kausale Risikomodelle und Evidence-Strategie nach ISO PAS 8800 und ISO 21448 (SOTIF)

Wir verbinden kausale Risikomodelle mit einer risikobasierten, rückverfolgbaren Evidence-Strategie für KI-Funktionen – anschlussfähig an ISO/PAS 8800 und ISO 21448 (SOTIF). Das Ergebnis sind fokussierte, auditfähige Nachweise mit klarer Nachvollziehbarkeit von System- zu Funktionsebene – iterativ über den gesamten Lebenszyklus.

Unsere Beratungsthemen umfassen:

• Entwicklung von kausalen Risikomodellen des Zusammenspiels von ML-Einflussfaktoren und Triggerbedingungen zu Insuffizienzen auf KI-Ebene und dem resultierenden Risiko auf Systemebene
• Modellbasierte Priorisierung von Szenarien, Maßnahmen und Tests
• Ableitung konkreter Daten-, Modell- und Testevidenzen über den Lifecycle, abgeleitet von ISO PAS 8800 und ISO 21448 (SOTIF)
• Normgemäße Anwendung von Qualitätsmetriken, Nutzung realer und synthetischer Daten, sowie Integration von Explainability- und Monitoring-Nachweisen
• Evidence-Management und Tool-/Prototypenintegration in bestehende MLOps/Prozesse
• Konformitäts-Mapping und Auditvorbereitung (ISO PAS 8800, SOTIF, ISO 26262)

Strukturierte Sicherheitsargumentation

Wir entwickeln strukturierte, modulare und dialektische Safety Cases und machen sie regulatorisch anschlussfähig für effiziente Freigaben und schnellere Zulassungen im Mobilitätsbereich.

Unsere Beratungsthemen umfassen:

• Safety-Case-Blueprints (z.B. GSN) für KI-Komponenten, Funktionen und Systeme
• Dialektische Argumentation mit Defeaters, Annahmen- und Evidenz-Management
• Modularisierung über Assurance Contracts und Wiederverwendung in Produktlinien
• Durchgängige Traceability zu Anforderungen, Tests und Datenartefakten auf Komponenten- und Systemebene
• Schulungen, Guidelines und Templates für Teams

Konfidenzbewertung von Sicherheitsargumenten

Mit unserem Ansatz quantifizieren wir Konfidenz von der Evidenz bis zum Claim und propagieren Unsicherheit transparent – für entscheidungsreife Aussagen.

Unsere Beratungsthemen umfassen:

• Entwicklung von Konfidenz-Frameworks (qualitativ/quantitativ) für Safety Cases
• Modellierung von Unsicherheit in Evidenzen (Messung, Bias, Abdeckung) und Claims
• Ermittlung der Unabhängigkeit von Evidenzen, Defeater-Analyse und Residualrisiko
• Modellierung von Konfidenz-Propagation, Sensitivitäts- und Stressanalysen

Continuous Assurance: Entwicklung dynamischer Safety Cases mit Laufzeitevidenz

Wir entwickeln dynamische Safety Cases, integrieren Laufzeitevidenz und ermitteln die Konfidenz kontinuierlich – für echte Continuous Assurance im Feldbetrieb.

Unsere Beratungsthemen umfassen:

• Design und Implementierung von Safety Performance Indicators (SPIs)
• Pipelines zur Evidenzaufnahme (In-Service Monitoring, DataOps/MLOps-Integration)
• Entwurf von Dashboards und Berichten für Releases, Change-Impacts und Residualrisiko
• Governance und Trigger für Re-Argumentation bei Modell-/Daten-Updates
• Pilotierungen, Tool-Prototypen und Betriebsleitfäden

Jetzt Kontakt Aufnehmen

Das Fraunhofer IKS unterstützt Sie gerne bei der Auswahl, Integration, Optimierung, Test und Validierung  von KI-Komponenten für Ihre (teil-)autonome Funktion mit unserer Software-Plattform zur Entwicklung und Validierung von autonomen Fahrfunktionen (APIKS).
 

Sie wollen eine KI-Funktion testen?

Sie wollen eine KI-Funktion (z.B. Perzeption, Trajektorienplanung, Ende-zu-Ende-Architektur) entwickeln, absichern und in einer standardisierten Umgebung testen? Nutzen Sie dabei folgende Vorteile unserer Software-Plattform:

• Wiederverwendbare Funktionsblöcke: Nutzen Sie bestehende Komponenten, um die Entwicklung zu beschleunigen.
• Unabhängige Entwicklung von Zielblöcken: Arbeiten Sie ohne Abhängigkeiten an spezifischen Zielblöcken.
• Standardbasierte Systemarchitektur und Schnittstellen: Die Architektur ist auf Modularität, Konformität und Nachhaltigkeit ausgelegt mit konsistenter und zuverlässiger Kommunikation zwischen Funktionsblöcken gemäß ISO 4804 / ISO 5083.
   

Sie wollen eine KI-Funktion validieren?

Sie haben bereits eine KI-Funktion und wollen diese in einer standardisierten Umgebung validieren? Nutzen Sie dabei folgende Vorteile unserer Software-Plattform:

• (Co-)Simulationen: Einfache Integration in fortschrittliche Simulatoren wie CARLA für umfassende Tests und Validierungen.
• Vorkonfigurierte Simulationsszenarien: Testen und validieren Sie neue Funktionen mithilfe bereits vorhandener Simulationskonfigurationen, um Effizienz und Zuverlässigkeit zu gewährleisten.
• Kompatibel mit Softwareplattformen für autonomes Fahren: Kompatibel mit führenden AD-Softwareplattformen wie AUTOWARE.

Jetzt Kontakt Aufnehmen