Sichere KI-Agenten in der Industrie: LLM-basierte Troubleshooting Assistants verlässlich einsetzen

In der industriellen Produktion müssen Fehler schnell erkannt und behoben werden. Gerade bei komplexen Prozessen wie der Spritzgussproduktion ist Troubleshooting zeitaufwendig und stark vom Erfahrungswissen einzelner Expertinnen und Experten abhängig. LLM-basierte Assistenzsysteme versprechen hier Entlastung: Sie können Informationen bündeln, Zusammenhänge erklären und Handlungsempfehlungen ableiten.

Gleichzeitig entstehen neue Risiken. Denn LLM-basierte Systeme können fehlerhafte, inkonsistente oder schwer überprüfbare Antworten erzeugen. In produktionsnahen Anwendungen kann das zu falscher Maschinenbedienung, Qualitätsproblemen, Produktionsausfällen und damit zu zusätzlichen Kosten führen.

Entscheidend ist daher, ob sich solche Risiken systematisch erkennen, bewerten und technisch begrenzen lassen. Dies ist auch wichtig für die steigenden regulatorischen Anforderungen an nachvollziehbare KI-Anwendungen.

Ziel des gemeinsamen Projekts von Fraunhofer IKS und Hitachi war es, einen methodischen Weg zu schaffen, um LLM-basierte Agentensysteme zuverlässig, überprüfbar und sicher in industriellen Anwendungen einzusetzen. Im Fokus der konkreten Anwendung standen zwei Fragen:

• Wie muss ein Troubleshooting Assistant mit unsicheren oder potenziell gefährlichen Situationen umgehen?
• Wie lassen sich sicherheitskritische Empfehlungen verhindern?

Zur Beantwortung dieser Fragen fehlte vielen Unternehmen bisher ein systematischer Engineering-Ansatz zur Absicherung von Agentensysteme.

Gemeinsam mit Hitachi entwickelte das Fraunhofer IKS eine methodische Lösung und Maßnahmen, um Sicherheitsrisiken von LLM‑basierten Agenten systematisch zu analysieren und wirksam zu begrenzen. Dafür wurde die Risikoanalyse durch die System-Theoretic Process Analysis (STPA) durchgeführt. STPA ist eine systemtheoretische Methode zur Gefährdungs- und Risikoanalyse, die das Fraunhofer IKS speziell auf agentische KI-Systeme zugeschnitten hat. Durch die Erweiterung lassen sich potenzielle Gefahrensituationen, unsichere Handlungsempfehlungen und LLM-spezifische Fehlerursachen wie Halluzinationen oder falsche Kontextinterpretationen strukturiert identifizieren. Anschließend wurden technische Absicherungsmaßnahmen und Einschränkungen abgeleitet, etwa strukturierte Ein- und Ausgabeformate, Konsistenz- und Bereichsprüfungen sowie sichere Default-Reaktionen.

Das Fraunhofer IKS und Hitachi haben die Methodik an einem LLM‑basierten Multi-Agent Troubleshooting Assistant für die Spritzgussproduktion validiert. Das Assistenzsystem unterstützt Anwenderinnen und Anwender dabei, typische Produktionsfehler zu analysieren und geeignete Maßnahmen abzuleiten. Dafür verarbeitet es Informationen zu Maschinenzuständen, historischen Daten und technischem Domänenwissen.

Der Use Case zeigt, wie LLM-basierte KI-Agenten vorhandenes Wissen leichter nutzbar machen und bei der Fehlersuche unterstützen können. Die Safety-Methodik sorgt dafür, dass Empfehlungen anhand definierter Sicherheitsgrenzen überprüft und bei Bedarf begrenzt werden. So sinkt der Troubleshooting-Aufwand, was Zeit und Kosten spart.

In szenariobasierten Testläufen wurden gezielt Fehler und Störungen in das System eingebracht, um zu prüfen, wie sich der Troubleshooting Assistant in kritischen Situationen verhält (Fault Injection). Ohne Gegenmaßnahmen lag die Quote sicherheitskritischer Verstöße bei über 40 Prozent. Mit der entwickelten Methodik wurden alle sicherheitskritischen Regelverletzungen erkannt und verhindert; die Quote sank auf 0 Prozent.

Für Unternehmen entsteht damit eine belastbare Grundlage, um LLM-basierte KI-Agenten kontrolliert und risikobewusst einzusetzen.

Der Ansatz des Fraunhofer IKS hilft,

• Risiken beim Einsatz von KI-Agenten frühzeitig zu erkennen und zu begrenzen,
• Fehlbedienungen, Qualitätsprobleme und Produktionsausfälle zu vermeiden,
• KI-gestützte Empfehlungen nachvollziehbar und überprüfbar abzusichern.

Dadurch können Unternehmen ihre Prozesse effizienter gestalten und regulatorische Anforderungen besser erfüllen. Besonders relevant ist dies für industrielle Anwendungen mit hohen Anforderungen an Qualität, Sicherheit und Compliance.

Die Methodik ist auf weitere LLM-basierte Assistenz- und Agentensysteme übertragbar, da sie an den jeweiligen Anwendungskontext angepasst werden kann. Das Fraunhofer IKS unterstützt Unternehmen dabei, KI-Agenten Schritt für Schritt in sicherheits- oder qualitätskritische Prozesse zu integrieren.

Sie möchten LLM-basierte KI-Agenten effizient in Ihren Produktionsprozessen einsetzen, ohne neue Sicherheits- oder Qualitätsrisiken einzugehen? Das Fraunhofer IKS unterstützt Sie dabei, Risiken systematisch zu analysieren und geeignete Schutzmechanismen zu entwickeln. Kontaktieren Sie uns unverbindlich über das Kontaktformular.

Zum Kontaktformular