Sicherheitsarchitektur für KI-Komponenten in der Produktion

Im Rahmen des Industrieprojekts untersuchte das Fraunhofer-Institut für Kognitive Systeme IKS ein abstrahiertes Fertigungsszenario mit Industrierobotern. Ein simulierter Roboterarm hatte die Aufgabe, ein Werkstück (grüner Würfel) an eine Zielposition (blauer Würfel) zu bewegen und dabei Kollisionen mit einem menschlichen Arbeiter zu vermeiden, der auf unterschiedliche Weise in den gemeinsamen Arbeitsbereich eintrat.

Die Einfachheit dieser Aufgabe macht dieses Szenario ideal für die Analyse der Fähigkeiten und Grenzen von KI in sicherheitskritischen Anwendungen. Während des Projekts wurde eine Funktion zur Trajektorienplanung mithilfe von Reinforcement Learning trainiert, indem die Bewegungsrichtlinie durch Ausprobieren erlernt wurde. Die Trainingsmethode erlaubt jedoch keine Sicherheitsgarantien hinsichtlich der Ausgabe der Funktion. Dies ist auf mehrere KI-Risikofaktoren zurückzuführen, die KI-basierte Funktionen in allen Phasen ihres Entwicklungszyklus beeinflussen. Daher hat das Fraunhofer IKS einen systematischen Ansatz entwickelt, um Risiken zu identifizieren und wirksame Maßnahmen innerhalb der Sicherheitsarchitektur abzuleiten.

Zur Identifizierung und Bewertung von KI-Risiken wurden etablierte Risikomanagementpraktiken gemäß ISO 31000 herangezogen [1]. Aus einer Liste generischer Risikofaktoren analysierte das Fraunhofer IKS schrittweise deren Auswirkungen auf das betrachtete System. Für die endgültige Liste der Risikofaktoren definierte das Fraunhofer IKS  Maßnahmen zur Risikominderung, die das Risikoniveau zur Laufzeit reduzieren können. Für die Integration dieser Maßnahmen in das System griffen die Forschenden auf die AI Safety Envelope (AI-E)-Architektur zurück, einer früheren Arbeit des Fraunhofer IKS [2]. 

Die Risikominderungstechniken wurden als selbstschützende-, selbstüberwachende- oder selbstprüfende Maßnahmen implementiert. Diese drei Techniken bilden den AI Safety Envelope, der die unzuverlässige KI-Funktion umgibt und sie in ein zuverlässiges Subsystem umwandelt. Die AI-E-Architektur ist eine Implementierung der in ISO/IEC TR 5469 beschriebenen architektonischen Risikominderung für KI-Funktionen [3].

Das Fraunhofer IKS führte eine Reihe von simulationsbasierten Tests durch, um quantitativ zu bewerten, wie effektiv die AI-E-Architektur die identifizierten KI-Risikofaktoren mindern kann. Mit Hilfe des Simulators Webots wurden 10.000 Testszenarien ausgewertet, um sowohl die Rate der sicher abgeschlossenen Szenarien (Sicherheitsrate) als auch die Rate der erfolgreich abgeschlossenen Szenarien (Erfolgsrate) zu messen und so das Verhältnis zwischen Sicherheit und Verfügbarkeit zu untersuchen.  

Das Forscherteam beobachtete, dass jede implementierte Minderungsmaßnahme die Sicherheitsrate des Systems verbesserte. Darüber hinaus führte die Kombination aller Maßnahmen zu einer weiteren Verbesserung der Sicherheit im Vergleich zu jeder einzelnen Maßnahme, was darauf hindeutet, dass die verschiedenen Maßnahmen unterschiedliche KI-Risiken adressieren und sich gegenseitig ergänzen.  

In Bezug auf die Erfolgsquote beobachtete das Fraunhofer IKS einen Konflikt zwischen Sicherheit und Verfügbarkeit. In einigen Szenarien war der AI-E übermäßig vorsichtig und griff ein, obwohl das Szenario von der Steuerungs-KI-Funktion allein sicher abgeschlossen werden konnte. Ein solches Ergebnis ist jedoch im Allgemeinen wünschenswert, um gefährliche Situationen und die daraus resultierenden Verluste zu vermeiden. Statistische Analysen zeigten, dass die Verringerung der Verfügbarkeit zu einem akzeptablen Produktivitätsverlust führt.

Die Erfolge dieses Projekts wären ohne die enge Zusammenarbeit zwischen Forschung und Industrie nicht möglich gewesen. Der industriegetriebene Anwendungsfall ermöglichte es dem Fraunhofer IKS, sein Fachwissen auf ein Fertigungsproblem von hoher Bedeutung anzuwenden. Für Hitachi bilden die Projektergebnisse eine Grundlage für die Implementierung KI-basierter Produktionssysteme und die Anwendung von KI-Funktionen in anderen sicherheitskritischen Bereichen.  

Statement von Hitachi:

»Hitachi wertschätzt die hervorragenden Ergebnisse sehr, die durch diese Zusammenarbeit mit dem Fraunhofer IKS erzielt wurden. Die Entwicklung und Validierung der AI Safety Envelope Architektur, durch die sich eine deutliche Verbesserung der Sicherheitsraten in umfangreichen Simulationen gezeigt hat, stellt einen bedeutenden Beitrag zur sicheren und zuverlässigen Integration von KI in autonome Steuerungen und weitere kritische Systeme dar.

Die systematische Identifizierung und Minderung von KI-bezogenen Risiken in Einklang mit internationalen Sicherheitsstandards bildet eine solide Grundlage für die Anwendung fortschrittlicher KI-Funktionen – nicht nur in der Fertigung, sondern auch in einer Vielzahl sicherheitskritischer Bereiche. Wir werden diese Ergebnisse als Grundlage für weitere Innovationen und praktische Umsetzungen in der Zukunft nutzen.«

Chief Researcher, Hitachi Ltd. R&D Group, Autonomous Control Research Department   
Satoshi Otsuka  

Der Hauptvorteil der Lösung liegt in der Entwicklung einer Sicherheitsarchitektur, die die sichere Integration von KI-basierten Steuerungen in Industrieroboter ermöglicht. Die entwickelte Architektur erhöht die Zuverlässigkeit und Sicherheit von KI-gesteuerten Systemen, was für deren Einsatz in sicherheitskritischen Umgebungen von entscheidender Bedeutung ist.  

Zu den zentralen Problemen, die angegangen wurden, gehören:  

1. Sicherheitsanforderungen: Die entwickelte Sicherheitsarchitektur gewährleistet die sichere Nutzung von KI-Funktionen, indem potenzielle Risiken systematisch identifiziert und gemindert werden.  

2. Mangelnde Zuverlässigkeit von KI-Funktionen: Die Implementierung des AI Safety Envelope erhöht die Zuverlässigkeit von KI-Funktionen und ermöglicht deren Einsatz in sicherheitskritischen Anwendungen. 

3. Mangelnde Flexibilität: Durch die Nutzung von KI-Funktionen können Roboter dynamisch auf ihre Umgebung reagieren und sich besser an Schwankungen im Produktionsprozess anpassen.

Diese Erfolgsgeschichte zeigt, wie innovative Ansätze im Bereich der KI-Sicherheit eine neue Ära in der Fertigung einläuten können.

[1] ISO 31000:2018, “Risk management – Guidelines,” International Organization for Standardization, 2018.

[2] G. Weiss, P. Schleiss, D. Schneider, and M. Trapp, “Towards Integrating Undependable Self-Adaptive Systems in Safety-Critical Environments,” in Proceedings of the 13th International Conference on Software Engineering for Adaptive and Self-Managing Systems, May 2018, pp. 26–32.

[3] ISO/IEC TR 5469:2024, “Artificial intelligence – Functional safety and AI systems,” International Organization for Standardization, 2024.