Safety Assurance: Stringente Sicherheitsnachweise für KI

Cyber-physische Kognitive Systeme entwickeln sich kontinuierlich weiter und durchdringen immer mehr Lebensbereiche. Höhere Autonomie-Level, der Einsatz von Künstlicher Intelligenz sowie die Vernetzung zu »Open Systems of Systems« machen diese Systeme gleichzeitig immer komplexer. Damit wird es auch immer schwieriger nachzuweisen, dass sie sicher, also frei von inakzeptablen Risiken sind.

Deswegen forscht das Fraunhofer-Institut für Kognitive Systeme IKS an neuen Definitionen akzeptabler Risikobewertungen sowie an überzeugenden Sicherheitsnachweisen (Safety Assurance) für solche häufig KI-basierten Kognitiven Systeme.

Was ist Safety Assurance? Wann ist ein System sicher genug?

Safety Assurance bezeichnet den Prozess, die Sicherheit eines Systems umfassend nachzuweisen. Dabei stellt sich zunächst die Frage: Wann ist ein System oder eine Künstliche Intelligenz sicher genug? Welche Anforderungen muss das System erfüllen und wie kann die Erfüllung dieser Anforderungen nachgewiesen werden? Ein Safety Assurance Case ist dann die strukturierte, durchgängige Argumentationskette zur Nachweisführung der Sicherheit.

Safety Assurance Case: Wie wird die Sicherheit eines Systems nachweisbar?

Mit einem Safety Assurance Case lässt sich die Sicherheit (Safety) eines Systems nachweisen. Die vom Fraunhofer IKS erforschten und entwickelten Safety Assurance Cases basieren auf durchgängigen und stringenten Argumentationen, die durch analytische Verfahren gestützt werden, um deren Stichhaltigkeit darzulegen. Safety Assurance Cases formalisieren sicherheitsrelevante Eigenschaften des Systems und beziehen dabei die Unsicherheitsbewertung des Umfeldes sowie der technischen Komponenten und Interaktionen eines Systems mit ein. Durch diese systematische Herangehensweise des Safety Assurance Cases kann sichergestellt werden, dass das System die vorher definierten Anforderungen erfüllt und damit ein geringes Risiko für Fehler aufweist.

Neben der Entwicklung von Safety Assurance Cases erweitert das Fraunhofer IKS bestehende Safety-Analysen und Fehlermodellierungstechniken (Fault Modeling). Dafür bezieht das Institut auch ursächliche Faktoren, die aufgrund der zunehmenden Komplexität und Unsicherheit des Systems entstehen, in die Risikobewertung (Risk Assessment) ein. Darauf aufbauend definiert das Fraunhofer IKS Maßnahmen zur Risikominimierung und beurteilt deren Wirksamkeit.

Diese systematischen Ansätze für den Nachweis sicherheitsrelevanter Eigenschaften Kognitiver Systeme kommen sowohl auf Ebene des Gesamtsystems zum Einsatz als auch für Sicherheitsnachweise einzelner KI- und ML-basierter Funktionen.

SAFE AI Framework bewältigt Unsicherheiten und unterstützt Safety Assurance

SAFE AI ist ein Framework, das entwickelt wurde, um höchste Safety- und Zuverlässigkeitsstandards für KI-Systeme zu erfüllen. Die Methodik stützt sich auf international anerkannte Richtlinien wie ISO 26262, ISO 21448 und ISO PAS 8800 sowie auf die strengen Anforderungen des EU-KI-Gesetzes für Hochrisikosysteme. Damit setzt SAFE AI einen neuen Maßstab für KI-Safetyprotokolle.

Im Mittelpunkt von SAFE AI steht die Nachvollziehbarkeit der kausalen Zusammenhänge zwischen funktionalen Schwachstellen innerhalb von KI-Systemen und den entsprechenden Abhilfemaßnahmen. Damit knüpft SAFE AI direkt an die Normen ISO 21448 und ISO PAS 8800 an. Durch das systematische Management von Unsicherheiten, die bei der KI-Entwicklung einschließlich den Prozessen, Werkzeugen und Designentscheidungen auftreten, schafft SAFE AI Vertrauen in die Leistung und Zuverlässigkeit des Systems.

Eines der herausragenden Merkmale von SAFE AI ist die Bewertung der Konfidenz von Sicherheitsargumenten, die durch eine umfassende Analyse der Evidenzstärke ergänzt wird. Dies stellt sicher, dass jede Sicherheitsanforderung eingehalten wird. Darüber hinaus lässt sich SAFE AI nahtlos in DevOps-Prozesse integrieren und ermöglicht so eine kontinuierliche Safety Assurance, wie sie in der ISO PAS 8800 gefordert wird.

Neben seinen technischen Fähigkeiten unterstützt SAFE AI auch die Stakeholder in der gesamten KI-Wertschöpfungskette und bietet wertvolle Hilfe bei der Anforderungserhebung, Validierung und Verifizierung sicherheitsrelevanter Qualitätsmerkmale. Durch den vertragsbasierten Ansatz wird sichergestellt, dass die unterschiedlichen Bedürfnisse der Beteiligten erfüllt werden, was die Position von SAFE AI als Eckpfeiler der KI-Safety in der sich schnell entwickelnden Branche weiter festigt.

Interdisziplinäre Betrachtung von Safety Assurance

Das Fraunhofer IKS betrachtet Safety Assurance interdisziplinär und bezieht Ergebnisse der beiden anderen Forschungsschwerpunkte »Vertrauenswürdige KI« und »Resilient Software Systems« in die Entwicklung von Safety-Assurance-Ansätzen ein.

Safety Assurance auf unserem Blog

Auf unserem Blog finden Sie Artikel rund um die Forschung zu Safety Assurance. Lesen Sie direkt weiter:

 

Autonomes Fahren / 20.10.2023

Neuer Ansatz grenzt unbestimmten Einfluss des Umfelds auf Systemwahrnehmung ein

Autonome Systeme werden zunehmend in verschiedenen sicherheitskritischen Anwendungen eingesetzt, bei welchen die Umfeld- und Betriebsbedingungen von entscheidender Bedeutung sind. Das Fraunhofer IKS bietet eine Lösung, die mit diesen vielfältigen Bedingungen umgehen kann.

 

Safety Engineering / 14.2.2023

Neuer Ansatz für das Sicherheitsmanagement bei automatisierten Fahrsystemen

Zwei führende Experten des Fraunhofer IKS und der University of York auf dem Gebiet der Sicherheit komplexer Systeme haben ein Whitepaper veröffentlicht, das einen neuen Ansatz vorstellt mit dem Ziel, die Sicherheit kognitiver cyber-physischer Systeme (CPS) zu gewährleisten.

 

Künstliche Intelligenz / 3.11.2022

Wo sich Fehler einschleichen können

Nicht behandelte Unsicherheiten in autonomen Systemen beeinträchtigen deren Funktionsfähigkeit und können zu einem Sicherheitsrisiko werden. Wir präsentieren konkrete Quellen der Unsicherheit, wie sie in der wissenschaftlichen Literatur diskutiert werden.

Weitere Forschungsschwerpunkte

 

Vertrauenswürdige KI

KI-basierte Systeme müssen für den Einsatz in sicherheitskritischen Bereichen vertrauenswürdig sein. Hier setzt die Forschung des Fraunhofer IKS an und entwickelt Methoden, um KI sicherer und nachvollziehbarer zu machen.

 

Resilient Software

Resiliente Software-Systeme müssen beherrschbar und adaptierbar sei. Das Fraunhofer IKS entwickelt Lösungen, die die Nutzbarkeit und Sicherheit cyber-physischer Systeme selbst in dynamischen Umgebungen gewährleisten.

Referenzen

Anwendungsfälle und Referenzen zu den Forschungsfeldern des Fraunhofer IKS finden Sie auf unserer Referenzübersicht. Nutzen Sie die untenstehenden Links und springen Sie direkt zu dem Bereich, der Sie am meisten interessiert: