Safety Assurance: Stringente Sicherheitsnachweise für KI

Cyber-physische Kognitive Systeme entwickeln sich kontinuierlich weiter und durchdringen immer mehr Lebensbereiche. Höhere Autonomie-Level, der Einsatz von Künstlicher Intelligenz sowie die Vernetzung zu »Open Systems of Systems« machen diese Systeme gleichzeitig immer komplexer. Damit wird es auch immer schwieriger nachzuweisen, dass sie sicher, also frei von inakzeptablen Risiken sind.

Deswegen forscht das Fraunhofer-Institut für Kognitive Systeme IKS an neuen Definitionen akzeptabler Risikobewertungen sowie an überzeugenden Sicherheitsnachweisen (Safety Assurance) für solche häufig KI-basierten Kognitiven Systeme.

Was ist Safety Assurance? Wann ist ein System sicher genug?

Safety Assurance bezeichnet den Prozess, die Sicherheit eines Systems umfassend nachzuweisen. Dabei stellt sich zunächst die Frage: Wann ist ein System oder eine Künstliche Intelligenz sicher genug? Welche Anforderungen muss das System erfüllen und wie kann die Erfüllung dieser Anforderungen nachgewiesen werden? Ein Safety Assurance Case ist dann die strukturierte, durchgängige Argumentationskette zur Nachweisführung der Sicherheit.

Safety Assurance Case: Wie wird die Sicherheit eines Systems nachweisbar?

Mit einem Safety Assurance Case lässt sich die Sicherheit (Safety) eines Systems nachweisen. Die vom Fraunhofer IKS erforschten und entwickelten Safety Assurance Cases basieren auf durchgängigen und stringenten Argumentationen, die durch analytische Verfahren gestützt werden, um deren Stichhaltigkeit darzulegen. Safety Assurance Cases formalisieren sicherheitsrelevante Eigenschaften des Systems und beziehen dabei die Unsicherheitsbewertung des Umfeldes sowie der technischen Komponenten und Interaktionen eines Systems mit ein. Durch diese systematische Herangehensweise des Safety Assurance Cases kann sichergestellt werden, dass das System die vorher definierten Anforderungen erfüllt und damit ein geringes Risiko für Fehler aufweist.

Neben der Entwicklung von Safety Assurance Cases erweitert das Fraunhofer IKS bestehende Safety-Analysen und Fehlermodellierungstechniken (Fault Modeling). Dafür bezieht das Institut auch ursächliche Faktoren, die aufgrund der zunehmenden Komplexität und Unsicherheit des Systems entstehen, in die Risikobewertung (Risk Assessment) ein. Darauf aufbauend definiert das Fraunhofer IKS Maßnahmen zur Risikominimierung und beurteilt deren Wirksamkeit.

Diese systematischen Ansätze für den Nachweis sicherheitsrelevanter Eigenschaften Kognitiver Systeme kommen sowohl auf Ebene des Gesamtsystems zum Einsatz als auch für Sicherheitsnachweise einzelner KI- und ML-basierter Funktionen.

Interdisziplinäre Betrachtung von Safety Assurance

Das Fraunhofer IKS betrachtet Safety Assurance interdisziplinär und bezieht Ergebnisse der beiden anderen Forschungsschwerpunkte »Vertrauenswürdige KI« und »Resilient Software Systems« in die Entwicklung von Safety-Assurance-Ansätzen ein.

Safety Assurance auf unserem Blog

Auf unserem Blog finden Sie Artikel rund um die Forschung zu Safety Assurance. Lesen Sie direkt weiter:

 

Autonomes Fahren / 17.11.2021

Sichere Fußgänger-
erkennung im Straßenverkehr

Fußgänger müssen vom System in autonomen Fahrzeugen zuverlässig erkannt werden. Das übernehmen hauptsächlich Deep-Learning-Ansätze. Deren Ergebnisse müssen aber im Vergleich zu klassischer Software zusätzlich überprüft und verifiziert werden, was verschiedene, aufwendige technische Maßnahmen voraussetzt. Welche das sind, skizziert dieser Beitrag. Ein Überblick.

 

Komplexe Systeme / 15.7.2021

Automatisiertes Fahren und Sicherheit – eine breitere Perspektive

Systeme wie sie etwa für das autonome Fahren zum Einsatz kommen, werden immer komplexer. Entsprechend anspruchsvoll ist die Aufgabe, deren Sicherheit nachzuweisen. Vorschläge zu einer ganzheitlichen Sicht auf ein komplexes Problem.

 

Safer Autonomous Systems / 5.6.2020

Safety Assurance als Strategie

Zwei Wissenschaftler des Fraunhofer IKS sind aktuell Teil des European Training Network for Safer Autonomous Systems (ETN SAS). Das durch das EU-Innovations-Rahmenwerk »Horizon 2020« geförderte Projekt hat zum Ziel, autonome Systeme zu schaffen, auf die sich Nutzerinnen und Nutzer verlassen können. João-Vitor Zacchi vom Fraunhofer IKS arbeitet dafür an Safety-Handling-Strategien für komplexe autonome Systeme.

Weitere Forschungsschwerpunkte

 

Vertrauenswürdige KI

KI-basierte Systeme müssen für den Einsatz in sicherheitskritischen Bereichen vertrauenswürdig sein. Hier setzt die Forschung des Fraunhofer IKS an und entwickelt Methoden, um KI sicherer und nachvollziehbarer zu machen.

 

Resilient Software

Resiliente Software-Systeme müssen beherrschbar und adaptierbar sei. Das Fraunhofer IKS entwickelt Lösungen, die die Nutzbarkeit und Sicherheit cyber-physischer Systeme selbst in dynamischen Umgebungen gewährleisten.

Referenzen

Anwendungsfälle und Referenzen zu den Forschungsfeldern des Fraunhofer IKS finden Sie auf unserer Referenzübersicht. Nutzen Sie die untenstehenden Links und springen Sie direkt zu dem Bereich, der Sie am meisten interessiert: