Fraunhofer-Institut für Kognitive Systeme IKSDas Fraunhofer IKS hilft Ihnen, Unsicherheit in KI-basierten Systemen systematisch zu identifizieren, zu quantifizieren und in Ihr Sicherheits- und Risikomanagement zu integrieren (Unsicherheitsabschätzung / Uncertainty Estimation). Durch Workshops, kundenspezifische Analysen und Co-Engineering entwickeln wir gemeinsam Unsicherheitsmodelle, Monitoring-Lösungen und Evidenzstrategien.
© iStock.com/borchee
Uncertainty Estimation für (Hochrisiko-)KI-Systeme:
Unsicherheiten beherrschbar machen
Inhalte
- Von Unsicherheit zum Risiko: Warum Sie Ihre Unsicherheiten kennen sollten
- Vom Standard zur Umsetzung: Wo liegen die Herausforderungen für die Uncertainty Estimation?
- Unsere Lösung: Unsicherheit in (Hochrisiko-)KI-Systemen sichtbar und beherrschbar machen
- Wie Ihnen unsere Lösungen zu Uncertainty Estimation weiterhelfen
- Warum das Fraunhofer IKS der richtige Partner für Sie ist
- Direkt anfragen
Von Unsicherheit zum Risiko: Warum Sie Ihre Unsicherheiten kennen sollten
Künstliche Intelligenz (KI) und Maschinelles Lernen (ML) kommen zunehmend in sicherheitskritischen Anwendungen zum Einsatz, etwa im Mobilitätsbereich. Gerade in solchen offenen und dynamischen Kontexten steigt die Komplexität der Softwaresysteme. Und mit der Komplexität wächst die Unsicherheit:
- Die Datenlage ist oft unvollständig oder verändert sich über die Zeit.
- Modelle treffen Annahmen, die nicht immer für alle Szenarien gelten.
- Das Systemverhalten in neuen oder seltenen Situationen ist schwer vorhersehbar.
Unsicherheiten verändern sich über den gesamten Lebenszyklus von der Entwicklung, über die Inbetriebnahme bis zum Feldbetrieb. Sie treten auf in Daten, Modellen, Szenarien und im Systemverhalten.
Werden Unsicherheiten nicht erkannt und kontinuierlich überwacht, bleiben kritische Risiken unsichtbar. Das gefährdet die Sicherheit der Systeme, deren Zulassung und in letzter Konsequenz den Geschäftserfolg.
Deshalb fordern beispielsweise Automotive-Standards wie ISO/PAS 8800, ISO 21448 (SOTIF) sowie Regularien wie der EU AI Act ein strukturiertes Risiko- und Evidenzmanagement, also einen systematischen Umgang mit Unsicherheit.
Vom Standard zur Umsetzung: Wo liegen die Herausforderungen für die Uncertainty Estimation?
Risiken durch Unsicherheiten müssen abgesichert werden. Doch häufig ist unklar, wie eine normkonforme Absicherung aussieht. Das erschwert und verzögert die Planung, Freigabe und Zulassung der Systeme.
Klassische Testmethoden und Vergangenheitsdaten reichen außerdem oft nicht aus, um das Verhalten KI-basierter Funktionen in neuen oder veränderten Domänen verlässlich abzuschätzen. Unterschiedliche Stakeholder interpretieren Anforderungen aus Standards und dem EU AI Act unterschiedlich. So fehlt eine gemeinsame Linie, wie mit Unsicherheit konkret umzugehen ist.
Darüber hinaus bleiben viele Unsicherheiten im Alltag unerkannt (sogenannte »unknown unknowns«) und werden damit auch nicht in Risiko-, Safety- oder Betriebsentscheidungen berücksichtigt.
Unsicherheiten müssen deshalb sowohl in der Design- und Entwicklungsphase als auch zur Laufzeit (bspw. wegen neuer Situationen, Verhaltensweisen, Umgebungen) systematisch adressiert, überwacht und – wo möglich – kontinuierlich reduziert werden.
Viele Unternehmen stehen dabei vor ähnlichen Fragen:
- Welche Unsicherheiten hat mein System – und welche davon sind im Sinne bestehender Standards wirklich relevant?
- Wie erreiche ich ein gemeinsames Verständnis zwischen unterschiedlichen Stakeholdern darüber, wo Unsicherheit entsteht und welche Annahmen wir heute stillschweigend treffen?
- Wie setze ich die Normanforderungen zum Umgang mit Unsicherheit praktisch um, statt sie nur abstrakt zu kennen?
- Wie sehr kann ich meinem KI-basierten System vertrauen – und wie begründe ich dieses Vertrauen gegenüber internen Stakeholdern, Auditoren und Behörden?
Unsere Lösung: Unsicherheit in (Hochrisiko-)KI-Systemen sichtbar und beherrschbar machen
Das Fraunhofer IKS unterstützt Unternehmen dabei, Unsicherheit in (Hochrisiko-)KI-Systemen sichtbar, quantifizierbar und beherrschbar zu machen – entlang der Anforderungen bestehender Standards.
Unser Fokus liegt dabei auf der Lücke zwischen klassischen Safety‑Ansätzen und KI‑spezifischen Unsicherheiten (z. B. Daten- und Modellunsicherheit, ODD‑Unsicherheit). Viele Standards fordern hier konkrete Ansätze, beschreiben sie methodisch aber nur grob. Wir bringen methodische Expertise ein (z.B. probabilistische Modellierung, Bayes’sche Methoden, subjektive Logik, Fuzzy-Logik, kausale Modelle) und verbinden sie mit dem Domänenwissen unserer Kunden.
Dafür bieten wir Ihnen ein dreistufiges Vorgehen, das sich an den typischen Fragen unserer Kunden orientiert:
- Workshop »Uncertainty Estimation in KI-basierten Systemen«
- Kundenspezifische Erstanalyse & Grobkonzept
- Co-Engineering: Entwicklung und Integration maßgeschneiderter Lösungen
Workshop »Uncertainty Estimation in KI-basierten Systemen«
In diesem Workshop zur Unsicherheitsabschätzung zeigen wir Ihnen typische Unsicherheitsquellen in KI-basierten Systemen und verknüpfen sie mit konkreten Problemstellungen. Im Fokus stehen folgende Fragen:
- Wie entstehen Unsicherheiten in Daten, Modellen, Kontext und Betrieb?
- Einordnung in den Kontext bestehender Standards: Wo fordern welche Normen einen Umgang mit Unsicherheit (Risiko-Management, Datenqualität, Monitoring)?
- Wie sehen beispielhafte Lösungsansätze aus?
Ergebnis: Am Ende des Workshops wissen Sie, wo in KI-basierten Hochrisiko-Systemen Unsicherheit entsteht, warum sie im Kontext bestehender Standards relevant ist und welche typischen Fragestellungen sich daraus ergeben.
Kundenspezifische Erstanalyse & Grobkonzept
Bei der Erstanalyse steht Ihr System im Fokus. Wir analysieren gemeinsam Ihre Systemarchitektur, Datenquellen, Modelle und Betriebsprozesse. So erfassen wir systematisch relevante Unsicherheiten und priorisieren sie nach Risiko- und Business-Impact. Konkret schauen wir uns folgende Punkte an:
- Analyse von Architektur, Daten, Modellen, ODD und Betriebsprozessen: Welche Unsicherheitsquellen und -arten gibt es in Ihrem System?
- Priorisierung nach Risiko-Impact, inklusive Gap-Analyse zu bestehenden Standards: Welche Unsicherheiten sind normseitig relevant, wo fehlen heute Evidenzen oder Prozesse?
- Entwicklung eines Grobkonzepts: Welche Themen sollten Sie zuerst adressieren und welche Methoden eignen sich dafür?
Ergebnis: Nach unserer Erstanalyse haben Sie eine strukturierte Übersicht der Unsicherheitsquellen Ihres Systems, eine Priorisierung nach Risiko- und Business-Impact sowie ein Grobkonzept, welche Themen Sie in welcher Reihenfolge mit welchen Methoden angehen sollten.
Co-Engineering: Entwicklung und Integration maßgeschneiderter Lösungen
Gemeinsam mit Ihnen entwickeln wir maßgeschneiderte Unsicherheitsmodelle und Monitoring-Lösungen für Ihre Systeme. Wir unterstützen Sie bei der Integration in Ihre bestehenden Safety-, Test- und Betriebsprozesse und erstellen mit Ihnen Safety Cases und Evidenzstrategien:
- Entwicklung und Integration von Unsicherheitsmodellen und -metriken in Safety-, Test- und Betriebsprozesse.
- Unterstützung bei Safety Cases, Evidenzstrategien und Laufzeit-Monitoring. Dazu gehört auch das Post-Market Monitoring im Sinne des EU AI Act.
- Gemeinsame Validierung der Lösungen.
Ergebnis: Sie erhalten erprobte Unsicherheitsmodelle, Metriken und Monitoring-Lösungen, die in Ihre bestehende Safety-, Test- und Betriebsprozesse integriert und normenkonform nutzbar sind.
Wie Ihnen unsere Lösungen zu Uncertainty Estimation weiterhelfen
Die Komplexität von KI-Systemen und die Anforderungen aus Standards und Regularien werden in den nächsten Jahren weiter steigen. Mit einem strukturierten unsicherheitsbasierten Absicherungsprozess bauen Sie heute Fähigkeiten auf, die Sie langfristig für neue Funktionen, ODD-Erweiterungen und künftige Normversionen wiederverwenden können:
- Normen- und Zulassungsfähigkeit: Sie wissen, was Standards und Regularien im Hinblick auf Unsicherheit verlangen. Wir helfen Ihnen, diese Anforderungen in konkrete Analyseschritte, Artefakte (z. B. Argumentationsbausteine, Evidenzen) und Prozesse zu übersetzen.
- Kontrolle während des Betriebs: Durch geeignete Metriken und Monitoring-Konzepte können Sie Unsicherheit auch zur Laufzeit überwachen und reduzieren.
- Methodenwissen ohne Mehraufwand: Sie profitieren von unserem erprobten methodischen Baukasten, ohne selbst tief in formale Verfahren einsteigen zu müssen.
- Branchenübergreifender Wissenstransfer: Sie profitieren von unserem fundierten Wissen im Bereich Automotive Safety und lernen, wie etablierte Konzepte und Best Practices auch in weniger regulierten Branchen sinnvoll angewendet werden können.
Warum das Fraunhofer IKS der richtige Partner für Sie ist
Wir kombinieren langjährige Erfahrung im Safety‑Engineering mit spezialisierter Methodenkompetenz für KI‑ und Unsicherheitsmodellierung. Damit unterstützen wir Sie dabei, KI‑basierte Komponenten in bestehende Safety‑ und Compliance‑Strukturen zu integrieren.
Wir übersetzen Forschung in Lösungen, die sich in Ihre bestehenden Prozesse integrieren lassen. Vorrangig arbeiten wir an sicherheitskritischen, softwareintensiven Systemen im Mobilitätsbereichen. Unsere Ansätze übertragen wir auch auf andere Domänen, etwa auf Hochrisiko- und Qualitätsanwendungen. Sprechen Sie uns direkt an.
Kontaktieren Sie uns – wir unterstützen Sie gerne.