Fraunhofer-Institut für Kognitive Systeme IKSDas Fraunhofer IKS begleitet Industrieunternehmen, die AI Agents einsetzen wollen, von der ersten Potenzialanalyse bis zur sicherheitszertifizierten Architektur. Unser Fokus liegt darauf, KI-Agenten kontrollierbar, nachvollziehbar und industrietauglich in die Systemarchitektur zu integrieren.
© iStock.com/gorodenkoff
AI Agents: Vertrauenswürdige KI-Agenten für die Industrie
AI Agents sicher, wirtschaftlich und regulatorisch belastbar einsetzen
Warum AI Agents jetzt relevant werden
KI-Agenten (AI Agents) und Multi-Agenten-Systeme eröffnen neue Möglichkeiten für die industrielle Automatisierung: Sie können Informationen aus unterschiedlichen Quellen verarbeiten, Aufgaben planen, Entscheidungen vorbereiten und komplexe Workflows koordinieren. Für Unternehmen entsteht damit die Chance, Prozesse flexibler, effizienter und stärker datengetrieben zu gestalten. Wer AI Agents einsetzen will, muss allerdings früh drei Kernfragen klären:
- Wirtschaftlichkeit & Token-Ökonomie:
Wo lohnt sich der rechen- und token-intensive Einsatz autonomer Systeme gegenüber deterministischer Software? - Risiken & Haftung:
Welche Gefahren entstehen durch dynamisches Agentenverhalten und wie werden EU AI Act sowie Produkthaftung erfüllt? - Betrieb & Kontrolle:
Wie lässt sich das Systemverhalten im laufenden Betrieb in Echtzeit überwachen und steuern?
Der Einsatz von KI-Agenten ist eine strategische Entscheidung, die von Marktparametern und wirtschaftlichen Kennzahlen geleitet wird:
Reiternavigation
Wirtschaftlichkeit und Effizienzpotenziale
Wirtschaftlichkeit und Effizienzpotenziale
In der Kapazitätsplanung, adaptiven Fertigungssteuerung und Intralogistik realisieren autonome Agenten Effizienzsteigerungen von bis zu 30 %. Da LLMs jedoch laufende Opex-Kosten verursachen, sichert die Vorab-Analyse des Fraunhofer IKS ab, dass KI nur dort eingesetzt wird, wo sie messbaren ROI generiert.
Regulatorik und Haftungsrisiken
Regulatorik und Haftungsrisiken
Der EU AI Act und verschärfte europäische Produkthaftungsregeln nehmen Betreiber in die Pflicht. Sie verlangen lückenlose Nachweisbarkeit und ein systematisches Risikomanagement für autonome Systeme. Unabgesicherte Agenten bergen erhebliche finanzielle und rechtliche Risiken.
Token-Ökonomie
Token-Ökonomie
Jeder Lese-, Denk- und Antwortschritt verbraucht Tokens – beeinflusst durch Modellgröße, Nutzerzahl, Latenz und Datenstandort. Während Einzel-Prompts günstiger werden, multipliziert Agentic AI den Token-Bedarf pro Arbeitsergebnis durch autonome Prompt-Ketten, Tool-Aufrufe und Datenbankabfragen. Der Ort der Verarbeitung (Device, Edge, Cloud) bestimmt die Gesamtkosten. Das Fraunhofer IKS optimiert Ihre Architektur auf maximale Effizienz bei minimalem Token-Verbrauch.
Absicherung entlang des Lebenszyklus: Autonomie braucht Kontrolle
Je autonomer Systeme agieren, desto unkalkulierbarer werden die Risiken für Safety, Compliance und Haftung. Da Agenten dynamisch handeln und eigene Pläne entwickeln, reichen statische Modelltests nicht aus. Das Fraunhofer IKS setzt auf eine durchgängige Absicherung:
Absicherung vor der Implementierung
- Gefahren- & Risikoanalyse (HARA): Systematische Identifikation potenzieller Fehlfunktionen
- Operational Design Domain (ODD): Präzise Definition der zulässigen Betriebsparameter (z. B. Lastgrenzen, Datenquellen)
- Architektur-Design: Konzeption von integrierten Safety-Guards und deterministischen Rückfallebenen
Absicherung im laufenden Betrieb
- Runtime Monitoring & Safeguarding: Kontinuierliche Echtzeit-Überwachung der Agenten-Entscheidungen durch vorgeschaltete Validierungsinstanzen
- Dynamic Assurance Cases: Digitale automatisierte Nachweisketten für den sicheren Betrieb innerhalb sicherer Leitplanken
- Human-in-the-Loop: Klare Eskalationspfade für die nahtlose Übergabe kritischer oder uneindeutiger Entscheidungen an den Menschen
Der Ansatz des Fraunhofer IKS: Absicherung auf Systemebene
Statische Modellvalidierungen veralten schnell. Das Fraunhofer IKS bietet ein modell-unabhängiges Absicherungs-Framework. Wir sichern nicht das einzelne, volatile LLM ab, sondern die übergeordneten Prozess- und Interaktionsstrukturen. Auch bei Modell-Updates bleibt Ihre Sicherheits- und Kostenarchitektur intakt.
Unser SCALE-Framework:
- Strategy: Definition von Zielen, Risiken und Potenzialen
- Concepts: Entwicklung von Lösungsansätzen und Systemarchitekturen
- Assurance: Identifikation, Analyse und Absicherung kritischer Risiken
- Learning: Prototypische Erprobung und kontinuierliches Lernen
- Execution: Überführung in den produktiven Betrieb
Leistungen des Fraunhofer IKS:
Von der AI-Agents-Potenzialanalyse bis zur sicheren Integration
Readiness Check: Potenzialanalyse für AI Agents
Readiness Check: Potenzialanalyse für AI Agents
Sie möchten wissen, ob und wo sich der Einsatz von KI-Agenten in ihrem Prozess wirtschaftlich lohnt?
Im Rahmen der Potenzialanalyse prüfen wir am Fraunhofer IKS Ihren individuellen Use Case auf technologische Machbarkeit und Reife. Dabei vergleichen wir den Einsatz von AI Agents mit klassischen Automatisierungsansätzen. Sie erhalten damit eine strategische Entscheidungsgrundlage für den Einsatz von KI-Agenten.
Auf einen Blick:
- Herausforderung: Sie möchten vermeiden, in wirtschaftlich oder regulatorisch ungeeignete KI-Agenten zu investieren.
- Unsere Leistung: Das Fraunhofer IKS prüft Ihren Use Case technisch und wirtschaftlich in Bezug auf Machbarkeit, Token-Kosten und ROI
- Ihr Ergebnis: Sie erhalten ein strategisches Entscheidungspapier inkl. Make-or-Buy-Bewertung, Business Case und konkreter Roadmap für die Umsetzung
- Herausforderung: Sie möchten vermeiden, in wirtschaftlich oder regulatorisch ungeeignete KI-Agenten zu investieren.
Agentic AI Risk Check
Agentic AI Risk Check
Sie möchten die Risiken und Kosten bestehender KI-Piloten bewerten?
Mit dem Agentic AI Risk Check des Fraunhofer IKS führen wir eine Technologie- und Reifegradbewertung bestehender Piloten durch und gleichen LLM- und regelbasierte Ansätze ab. So identifizieren wir kritische Schwachstellen, bevor teure Fehlentwicklungen entstehen.
Auf einen Blick:
- Herausforderung: Sie möchten unbekannte Sicherheitsrisiken und drohende Kostenfallen bei bestehenden Piloten oder KI-Prototypen frühzeitig erkennen.
- Unsere Leistung: Das Fraunhofer IKS auditiert Ihre Agenten-Architektur auf KI-spezifische Schwachstellen, Fehlauslösungen und ineffiziente Token-Ketten.
- Ihr Ergebnis: Sie erhalten einen technischen Report mit Risiko-Mapping und Empfehlungen, um teure Fehlentwicklungen zu vermeiden.
Assurance Concept & Compliance
Assurance Concept & Compliance
Sie suchen nach einer nachvollziehbaren Absicherung und regulatorischen Einordnung Ihrer KI-Agenten?
Wir analysieren die Risiken in komplexen Agenten-Interaktionen, entwickeln Safety Arguments und bereiten die technische Dokumentation für Regulierungen wie dem EU AI Act vor. So schafft das Fraunhofer IKS nachvollziehbare Verlässlichkeits-Metriken und eine belastbare Grundlage für die Konformität mit Industriestandards, gesetzlichen Vorgaben und eine beschleunigte Systemzulassung.
Auf einen Blick:
- Herausforderung: Vor dem System-Rollout benötigen Sie Haftungsstrukturen und Sicherheitsnachweise für Regularien (EU AI Act).
- Unsere Leistung: Das Fraunhofer IKS entwickelt formale Safety Arguments, definiert Transparenz-Metriken und strukturiert die Dokumentation.
- Ihr Ergebnis: Sie erhalten ein AI-Act-konformes Compliance-Dossier inklusive strukturierter Sicherheitsnachweise (Assurance Cases) für Audits und Zertifizierungen.
Framework Integration & Co-Development
Framework Integration & Co-Development
Sie möchten KI-Agenten kontrolliert in Ihre bestehende Systemlandschaft integrieren?
Wir implementieren das prozessorientierte Absicherungs-Framework des Fraunhofer IKS direkt in Ihrer Architektur (Device, Edge, Core oder Cloud) und entwickeln maßgeschneiderte Runtime Safeguards. So entsteht eine robuste, kontrollierbare und zukunftssichere Systemarchitektur, die für den realen Betrieb bereit ist. Modell-Updates oder der Wechsel zu effizienteren LLMs, lassen sich dadurch agil einbinden, ohne dass Re-Zertifizierungen oder Architektur-Reboots erforderlich werden.
Auf einen Blick:
- Herausforderung: Sie möchten AI Agents in bestehende IT/OT-Landschaften integrieren ohne neue Sicherheits- oder Budgetrisiken zu schaffen.
- Unsere Leistung: Das Fraunhofer IKS begleitet Sie als Co-Engineering-Partner bei der Implementierung unseres modell-unabhängigen Absicherungs-Frameworks inklusive Runtime Safeguards und Token-Guards.
- Ihr Ergebnis: Sie erhaltenen einen lauffähigen, gehärteten Software-Prototyp mit Echtzeit-Monitoring-Dashboard und dokumentierter Schnittstellen-Architektur.
Bereit für den nächsten Schritt?
Bringen Sie AI Agents kontrolliert in den industriellen Betrieb
Buchen Sie ein unverbindliches 30-minütiges Sparring mit den KI-Safety- & Architektur-Expertinnen und -Experten des Fraunhofer IKS. Wir werfen gemeinsam einen ersten Blick auf Ihren Use Case und schätzen das Potenzial ab.