Safety Assurance: Stringente Sicherheitsnachweise für KI

Mit einem Safety Assurance Case lässt sich die Sicherheit (Safety) eines Systems nachweisen. Die vom Fraunhofer IKS erforschten und entwickelten Safety Assurance Cases basieren auf durchgängigen und stringenten Argumentationen, die durch analytische Verfahren gestützt werden, um deren Stichhaltigkeit darzulegen. Safety Assurance Cases formalisieren sicherheitsrelevante Eigenschaften des Systems und beziehen dabei die Unsicherheitsbewertung des Umfeldes sowie der technischen Komponenten und Interaktionen eines Systems mit ein. Durch diese systematische Herangehensweise des Safety Assurance Cases kann sichergestellt werden, dass das System die vorher definierten Anforderungen erfüllt und damit ein geringes Risiko für Fehler aufweist.

Neben der Entwicklung von Safety Assurance Cases erweitert das Fraunhofer IKS bestehende Safety-Analysen und Fehlermodellierungstechniken (Fault Modeling). Dafür bezieht das Institut auch ursächliche Faktoren, die aufgrund der zunehmenden Komplexität und Unsicherheit des Systems entstehen, in die Risikobewertung (Risk Assessment) ein. Darauf aufbauend definiert das Fraunhofer IKS Maßnahmen zur Risikominimierung und beurteilt deren Wirksamkeit.

Diese systematischen Ansätze für den Nachweis sicherheitsrelevanter Eigenschaften Kognitiver Systeme kommen sowohl auf Ebene des Gesamtsystems zum Einsatz als auch für Sicherheitsnachweise einzelner KI- und ML-basierter Funktionen.

Das Fraunhofer IKS betrachtet Safety Assurance interdisziplinär und bezieht Ergebnisse der beiden anderen Forschungsschwerpunkte »Vertrauenswürdige KI« und »Resilient Software Systems« in die Entwicklung von Safety-Assurance-Ansätzen ein.