Safe AI: Absicherung von Künstlicher Intelligenz (KI)

Ein wichtiges Qualitätsmerkmal von Künstlicher Intelligenz (KI) ist deren Sicherheit. Zum einen die Sicherheit vor Missbrauch und Schutz der Daten (Security) aber vor allem auch der Schutz der Menschen, die mit dem System interagieren (Safety).

 

Jetzt Kontakt aufnehmen

In einer 2020 veröffentlichten Studie befragte der Verband der TÜV e.V. Personen zu ihren Sorgen im Zusammenhang mit Künstlicher Intelligenz. Bedenken, dass KI in sicherheitskritischen Anwendungsfällen Fehler machen könnte wurden von 67% der Befragten geäußert. 85 % der Befragten sind der Meinung, KI-basierte Produkte sollten erst auf den Markt gebracht werden dürfen, wenn eine Hersteller-unabhängige Stelle deren Sicherheit überprüft hat. Die Autoren empfehlen daher KI-Anwendungen nach Sicherheitsrisiko zu priorisieren und sicherheitskritische Produkte wiederkehrend zu prüfen.

Wir brauchen neue Methoden zur Absicherung von KI

Im Unterschied zu klassischen Algorithmen besteht bei KI-Algorithmen allerdings das Problem, dass die einzelnen Lernschritte nicht von Menschen interpretiert werden können. Da der Entscheidungsweg der KI undurchsichtig ist, kann die Sicherheit und Zuverlässigkeit der KI bisher nicht ohne weiteres bewertet werden. Diese Nachvollziehbarkeit ist aber notwendig, um Unsicherheiten der KI messbar zu machen und daraufhin dynamische Sicherheitsmechanismen zu entwerfen. Ziel des Fraunhofer IKS ist es, KI Systeme sicherheitsbewusst zu machen. Über eine adaptive, erweiterte Softwarearchitektur werden Fehler der KI abgefangen, damit die KI Menschen nicht gefährden kann.

Ein weiteres Forschungsziel unter dem Schlagwort »Explainable AI« ist es, neuronale Netze selbst nachvollziehbar zu konzipieren. Dies ist eine Grundvoraussetzung für die Absicherung und Zertifizierung von KI-Systemen. Zudem muss das System lernen können, wie es mit gefährlichen Situationen, unklaren Sensordaten oder Fehlverhalten umgeht. Durch die umfassende Absicherung der KI entstehen sichere und gleichzeitig leistungsstarke Kognitive Systeme: Safe AI

Absicherung von KI: Zuverlässige maschinelle Wahrnehmung beim autonomen Fahren

Um in Zukunft autonom fahren zu können, müssen Fahrzeuge in der Lage sein, ihre Umgebung zu erkennen, treffsicher zu interpretieren und daraufhin ihre Handlungen zu optimieren. Das ist nur mit KI-Algorithmen möglich. Bisher ist aber das maschinelle Sehen (Perzeption oder Computer Vision) der KI noch nicht so verlässlich, dass es für den Einsatz in autonomen Fahrzeugen auf öffentlichen Straßen geeignet ist.

© iStock.com/Oleh_Slobodeniuk

Der umfassende Ansatz für KI-Sicherheit des Fraunhofer IKS: Safe AI

Unsicherheiten sichtbar machen

Zunächst müssen daher Wege gefunden werden, Unsicherheiten der Künstlichen Intelligenz quantifizierbar zu machen, um das Verhalten der KI sinnvoll bewerten zu können. Das Fraunhofer-Institut für Kognitive Systeme IKS arbeitet daran, nachweisbar verlässliche Systeme zu schaffen, indem es Unsicherheiten der KI zunächst einen interpretierbaren Wert zuweist und sichtbar macht. So kann die bisher intransparente Klassifizierung der Künstlichen Intelligenz beherrschbar werden. Nur mit dieser Transparenz können passende und flexible Sicherheitskonzepte entworfen werden, um mit den Unsicherheiten der KI umzugehen.

Monitoring

Ein Ansatz des Fraunhofer IKS ist es, Künstliche Intelligenz um eine erweiterte Softwarearchitektur zu ergänzen. Diese überwacht die KI und prüft die getroffenen Entscheidungen auf Plausibilität. Dieses Monitoring funktioniert über klassische Software, welche mit bewährten Safety-Methoden beherrscht und überprüft werden kann.

Dynamisches Safety-Management

Gleichzeitig wird der KI durch den Ansatz des dynamischen Safety-Managements mehr Freiraum gegeben als durch klassische Safety-Ansätze, die immer vom Worst-Case-Szenario ausgehen. So können die Vorteile der schnellen Datenverarbeitung durch maschinelles Lernen genutzt und gleichzeitig mögliche Fehlentscheidungen abgefangen werden. Das ist für die Verwendung von Kognitiven Systemen in sicherheitskritischen Anwendungen relevant. Beispielsweise, wenn wie beim autonomen Fahren durch Fehlentscheidungen der KI Menschenleben gefährdet wären.

Continuous Deployment

Kognitive Systeme müssen aus dem Feld lernen können, denn so kann das KI System neu kennengelernte Situationen wiedererkennen und passend handeln. Das kann allerdings nicht durch lernende Algorithmen geschehen. Das Continuous Deployment ist daher ein wichtiger Bestandteil des Absicherungskonzepts des Fraunhofer IKS. Das System muss regelmäßig aktualisiert werden, um neuentdeckte Sicherheitslücken schnell zu schließen und den Funktionsumfang zu erweitern.

Modulare Architekturen

Als wichtiger zusätzlicher Schritt der Absicherung entwickelt das Fraunhofer IKS modulare Architekturen. Durch eine modulare Safety-Architektur aus individuellen Blöcken ist eine schnelle und unkomplizierte Erweiterung des Systems möglich. So können die Ergebnisse der Safety-Analysen kostensparend implementiert werden, indem nur wenige Module ersetzt werden.

Safe AI auf unserem Safe Intelligence Onlinemagazin

 

Interview mit Reinhard Stolle / 12.9.2025

Die beste Technik auf sichere Art und Weise ins Fahrzeug bringen

Die Absicherung von KI-Funktionen im Fahrzeug bleibt eine Herausforderung, die Schritt für Schritt gemeistert werden muss. Dabei gibt es sichtbare Fortschritte auf dem Weg zum autonomen Fahren, sagt Dr. Reinhard Stolle, stellvertretender Institutsleiter des Fraunhofer IKS. Und voraussichtlich lässt sich der Erfolg von ChatGPT & Co. auch für hochautomatisierte Fahrzeuge nutzen.

 

Künstliche Intelligenz / 4.9.2025

Safe.trAIn: KI als Zugführer in der Regionalbahn

Autonomes Fahren soll nicht nur die Straßen erobern, sondern bietet auch im Schienenverkehr enormes Potenzial für fahrerlose Züge. Ein Beleg dafür ist das Projekt safe.trAIn, in dem das Fraunhofer IKS die zentrale Aufgabe der methodischen Absicherung der KI-Funktionen übernommen hat.

 

KI in der Medizin / 21.8.2025

Generative AI: eine Revolution für das Gesundheitswesen?

Künstliche Intelligenz, insbesondere große Sprachmodelle (LLMs), werden von vielen als Schlüsselressource für ein überlastetes Gesundheitssystem betrachtet. Besonders die KI-gestützte Automatisierung könnte bei der Bewältigung von Wissensmanagement-Aufgaben schnell Entlastung schaffen. Bevor es soweit ist, müssen Herausforderungen im Bereich Security und Safety sowie rechtliche Vorgaben berücksichtigt werden. Die Forschung des Fraunhofer IKS widmet sich diesen beiden Aspekten.

 

KI-Sicherheit / 28.8.2025

Metriken als Gradmesser für KI-Sicherheit: Reicht das aus?

Maschinelles Lernen (ML) wird häufig durch Metriken wie Accuracy, Precision, Recall und F1-Score bewertet. Doch wie vertrauenswürdig sind diese Kennzahlen tatsächlich? Sie spiegeln lediglich einen Teil der Realität wider und können ein irreführendes Gefühl von Sicherheit erzeugen. Dies kann insbesondere in sicherheitskritischen Bereichen gefährlich werden. Das Fraunhofer IKS entwickelt ein formales Framework, um die Unsicherheit quantifizieren zu können, wodurch Restrisiken »berechenbarer« werden.

 

Künstliche Intelligenz / 14.8.2025

KI-Systeme im Bahnverkehr: die Bedeutung der Operational Design Domain (ODD)

Wie kann der Bahnverkehr attraktiver und effizienter werden? Eine Antwort darauf sollen KI-Systeme liefern, die in den Bahnbetrieb integriert werden. Dies ist jedoch mit einigen Herausforderungen verbunden. Ganz oben steht die Sicherheit, aber auch die Fahrgastzahlen sollen steigen.

 

Safe Intelligence
Onlinemagazin

Möchten Sie mehr über die Forschung des Fraunhofer IKS zu Künstlicher Intelligenz erfahren? Dann schauen Sie in unserem Safe Intelligence Onlinemagazin vorbei:

Jetzt Kontakt aufnehmen

Kontaktieren Sie uns unverbindlich über das untenstehende Kontaktformular. Wir freuen uns auf Ihre Anfrage und setzen uns schnellstmöglich mit Ihnen in Verbindung.

Vielen Dank für Ihr Interesse am Fraunhofer IKS.

Wir haben Ihnen soeben eine Bestätigungsmail geschickt. Sollten Sie in den nächsten Minuten keine E-Mail erhalten, prüfen Sie bitte Ihren Spam-Ordner oder schicken Sie uns eine E-Mail an business.development@iks.fraunhofer.de.

* Pflichtfelder

Es ist ein Fehler aufgetreten. Bitte versuchen Sie es erneut oder kontaktieren Sie uns per E-Mail:
business.development@iks.fraunhofer.de

Thematischer Fokus (optional)