Fraunhofer-Institut für Kognitive Systeme IKS
Fraunhofer-Institut für Kognitive Systeme IKS

Teilprojekte des Auf- und Ausbauprojekts

1. Verlässliche Erkennung unterschiedlicher Situationen

Hoch- und vollautomatisierte Fahrzeuge lassen sich nur dann realisieren, wenn sie ihre Umgebung verlässlich erfassen können. Die Perzeption der Umgebung stellt heute noch eine der größten Herausforderungen dar.

Das Teilprojekt »Verlässliche Situationserkennung» hat daher zum Ziel, die Verlässlichkeit der heute noch unzureichenden Perzeption zu steigern. Erreicht werden soll dies durch die Erarbeitung einer Sicherheitsanalysemethode, die systematisch Schwachstellen in der KI-basierten Perzeptionskette und deren Auswirkungen auf die Sicherheit Autonomer Systeme identifiziert.

Eine geeignete Perzeption lässt sich nur über Künstliche Intelligenz erreichen, die Objekte in der Umgebung erkennt, wie bspw. andere Fahrzeuge und Fußgänger beim Autonomen Fahren. Dazu muss die KI die Objekte richtig klassifizieren, d.h. zum Beispiel unterscheiden, ob es sich um Radfahrer oder Fußgänger handelt, und deren genaue Position bestimmen. Die eingesetzte KI ist heute allerdings noch sehr störungsanfällig. Deshalb wird eine Methode entwickelt, welche die Güte der Ergebnisse der KI  während der Laufzeit messbar macht. Aufgrund der dadurch höheren Robustheit der Perzeptionsarchitektur kann die Performanz Autonomer Systeme verbessert werden.

2. Dynamisches Sicherheitsverhalten Kognitiver Systeme

Kognitive Systeme sind während ihres Betriebs völlig unterschiedlichen und teils unvorhersehbaren Situationen ausgesetzt. So ist es beispielsweise unmöglich beim automatisierten Fahren alle denkbaren Fahrsituationen vorherzusehen, genauso wenig wie sich die quasi unendliche Vielfalt von Einsatzszenarien von Landmaschinen oder die anatomischen Besonderheiten eines Menschen für medizinische Systeme vorhersagen lassen.

Um die Sicherheit solcher Systeme trotzdem zu gewährleisten, müsste man vom schlimmsten Fall ausgehen – dem Worst Case. Dies hätte umgekehrt allerdings zu Folge, dass dadurch die Funktionsfähigkeit des Systems soweit eingeschränkt wird und/oder die Kosten so sehr steigen, dass sie keinerlei (betriebswirtschaftlich sinnvollen) Nutzen mehr hätten. Im Teilprojekt »Dynamisches Verhalten« wird daher erforscht, wie sich durch ein adaptives Safety-Management die Sicherheit bei minimaler Einschränkung der Systemfunktion und minimalen Kostensteigerungen gewährleisten lässt.

Dazu sollen die Systeme anhand von Entwicklungsmethoden und –werkzeugen und insbesondere durch die entsprechenden Laufzeitarchitekturen befähigt werden, ihre Umgebung während des laufenden Betriebs selbständig zu erfassen, darauf basierend das Risiko für diese konkrete Situation zu bestimmen und schließlich darauf zu reagieren, indem sie ihren Funktionsumfang ideal an die jeweilige Umgebung anpassen. Dies führt in jeder Situation zur maximal möglichen Leistung, ohne die Sicherheit zu gefährden – selbst in unvorhergesehenen Situationen.

3. Flexible und verlässliche Kognitive Systeme

Für Smartphones und Webservices ist es mittlerweile selbstverständlich, dass sich diese sehr flexibel mit neuer Software aktualisieren, erweitern und kontinuierlich anpassen lassen. Für sicherheitsrelevante und hochzuverlässige Systeme stellt dies allerdings immer noch eine große Herausforderung dar.

Daher stehen Lösungen, die auch für resiliente Kognitive Systeme hohe Flexibilität ermöglichen, im Fokus des Teilprojekts »Resiliente Flexibilität«. In der Wissenschaft steht der Begriff Resilienz für die Eigenschaft eines Systems, selbst bei unvorhergesehenen Änderungen die eigene Sicherheit und Zuverlässigkeit aufrechterhalten zu können. Aus funktionaler Sicht benötigt man selbst-adaptive Systeme, die sich selbst an Veränderungen in ihrer Umgebung anpassen, um stets optimale Performanz liefern zu können. Aus Perspektive der Sicherheit und Zuverlässigkeit bedeuten solche Adaptionen Änderungen, die eigentlich eine erneute Qualitätsprüfung erforderlich machen würden.

Um daher Resilienz und Flexibilität in Einklang zu bringen, stellen die Forscherinnen und Forscher die Entwicklung resilienter Architekturen und Middleware für ein flexibles Dienstemanagement in den Fokus, welches eine sichere und schnelle Aktualisierbarkeit und Modifikation Kognitiver Systeme erlaubt. Das Ziel ist es neben einer dynamischen Nutzung und Verteilung von Diensten auch die flexible Integration von nicht sicheren Komponenten wie insbesondere von KI-Diensten zu ermöglichen.

4. Verlässliche Cloud-Anbindung für sicherheitskritische Anwendungen

Von vielen klassischen IT-Anwendungen vom Sprachassistenten bis zur Smartphone App ist man es mittlerweile gewohnt, dass ein wesentlicher Teil der Funktionalität nicht auf dem Gerät, sondern in der Cloud ausgeführt wird.

Solche Ende-zu-Ende Architekturen bieten auch für cyberphysische Systeme viele Vorteile, da sich dadurch beispielsweise die volle Rechenleistung der Cloud nutzen lässt und Updates ganz einfach auf der Cloud und ohne aufwendige Over-The-Air-Updates erfolgen können – um nur zwei Vorteile zu nennen. Gerade für sicherheitsgerichtete Anwendungen stellen solche Architekturen Unternehmen aber vor zahlreiche Herausforderungen, da zum Beispiel weder die Verbindung zur Cloud noch die Cloud-Server noch die Dienste auf der Cloud als sicher erachtet werden und jederzeit ausfallen können.

Ziel des Teilprojekts »Fließende verlässliche Ende-zu-Ende-Architekturen (E2E)« ist daher die Entwicklung von Lösungen für flexible Architekturen, die sich von einzelnen cyberphysischen Systemen über Edge und Fog bis hin zu Cloud-Systemen erstrecken können und dabei gleichzeitig sicherheitsrelevante bzw. hochzuverlässige Anwendungen berücksichtigen. Dazu kombinieren die Forschenden des Fraunhofer IKS neuartige Methoden zur modularen Systemspezifikation, darauf aufbauende automatisierte Qualitätsanalysen und eine dedizierte Laufzeitarchitektur, die auch bei Ausfällen und Störungen einen sicheren und zuverlässigen Betrieb ermöglichen.

Da gerade auch Netzverbindungen nie frei von Störungen sein werden, kommen sogenannten fail-degraded Architekturen eine besondere Bedeutung zu: Dabei können die Systeme im Falle von Störungen, wie bspw. Netzausfällen, den Fehler zwar nicht vollständig kompensieren, aber sie können ihre Funktion zumindest in einem möglichst minimal eingeschränkten (degradierten) Funktionsumfang aufrechterhalten. Da die meisten Störungen nur kurz anhalten, lassen sich dadurch die Vorzüge der Cloudanbindung nutzen, ohne die Systemsicherheit zu gefährden oder die Systemzuverlässigkeit zu stark zu reduzieren.

5. Resiliente, intelligente Systemverbünde (Kollektive)

Betrachtet man die heutigen Aufgaben Kognitiver Systeme, so reichen für die Erfüllung dieser Aufgaben einzelne Systeme nicht mehr aus. Vielmehr müssen dafür zahlreiche unterschiedliche Systeme als Kollektiv kooperieren: Beim automatisierten Fahren werden komplexe Verkehrsszenarien wie das Einfädeln bei dichtem Verkehr oder der fließende Verkehr im komplexen Kreisverkehr nur dann sinnvoll gelöst, wenn die einzelnen Fahrzeuge und die Verkehrsinfrastruktur als Kollektiv zusammenarbeiten. Das gilt auch für die Bearbeitung von Feldern: Hier müssen unterschiedlichste Landmaschinen als Team zusammenarbeiten, um die Aufgabe erfüllen zu können – dies gilt analog für Baumaschinen auf Großbaustellen. Als weiteres Beispiel müssen Medizingeräte unterschiedlicher Hersteller nahtlos zusammenarbeiten, um Visionen wie den OP der Zukunft Realität werden zu lassen.

Allen Beispielen gemeinsam ist, dass sich solche Kollektive aus einzelnen, eigenständigen Systemen wie Traktoren und Mähdreschern unterschiedlicher Hersteller zusammensetzen. Es gibt keinen Integrator, der alle Systeme miteinander verbindet, testet und als Gesamtprodukt in den Verkehr bringt. Vielmehr verbinden sich die Systeme ad-hoc zur Laufzeit selbst miteinander und koordinieren die gemeinsame Aufgabe. Daraus ergeben sich zahlreiche Herausforderungen.

Das Teilprojekt »Resiliente Kollektive« befasst sich mit der Entwicklung intelligenter Systemverbünde (Systems of Systems), die sich aus heterogenen Einzelsystemen zusammensetzen.  Dazu entwickelt das Teilprojekt eine Entwicklungsmethodik sowie eine zugehörige Laufzeitplattform, um das Kollektiv dynamisch überwachen, steuern und optimieren zu können. Technisch betrachtet kommen dazu in Anlehnung an digitale Zwillinge Laufzeitmodelle zum Einsatz, die ein digitales Spiegelbild des Systemverbunds und seiner realen Umgebung schaffen. In dieser digitalen Reflektion kann die Qualität des Verbundes und der einzelnen Systeme kontinuierlich geprüft, verdächtiges Verhalten erkannt und mögliche Probleme vorhergesehen werden. Darüber hinaus lassen sich mögliche Systemanpassungen zur Systemoptimierung virtuell im digitalen Abbild durchspielen und prüfen, bevor sie tatsächlich am realen System vorgenommen werden.

Dabei ist es zum einen von besonderer Wichtigkeit die Heterogenität der Systeme zu berücksichtigen und möglichst wenige Anforderungen an die Schnittstellen der Systeme vorzugeben. Zum anderen ist es wichtig zu bedenken, dass auch Systeme berücksichtigt werden, die nicht aktiv mit dem Kollektiv verbunden sind, wie herkömmliche, von Menschen gefahrene Autos, Fußgänger in Verkehrsszenarien oder Arbeitende, die sich in der Produktion oder einem Logistikzentrum gemeinsam mit Robotern bewegen.

6. Sicherheit intelligenter Systeme entlang des Lebenszyklus

Moderne kognitive Systeme unterliegen einem stetigen Wandel. Zum einen werden kontinuierlich Funktionen angepasst oder ergänzt. Zum anderen ist von einer höheren Fehlerdichte auszugehen, so dass es sehr schnell möglich sein muss, Bugfixes (Fehlerbehebungen) zu erstellen und auf alle Systeme im Feld aufzuspielen.

Unter der Überschrift »Continuous Safety« werden daher in einem weiteren Teilprojekt die Sicherheit intelligenter sicherheitskritischer Systeme in einem kontinuierlichen Prozess entlang ihres Lebenszyklus betrachtet. Das Teilprojekt untersucht dazu, wie die Absicherung Kognitiver Systeme von ihrer Entwicklung bis hin zur Außerbetriebnahme unterstützt werden kann.

Dazu ist es nötig die Systeme im Feld systematisch zu überwachen, um gezielt Fehler erkennen zu können. Ein wesentliches Ziel des Teilprojektes ist die systematische Erfassung und Auswertung von Felddaten. Darüber hinaus ist es entscheidend, die nötigen Fehlerkorrekturen oder Systemerweiterungen schnell und flexibel durchführen zu können. Um dies zu erreichen spielen zum einen konsequent modulare Ansätze eine entscheidende Rolle, die nicht nur die Funktion, sondern auch Sicherheitsnachweise nahtlos umfassen. Zum zweiten kommt der Automatisierung eine große Bedeutung zu, da sehr komplexe Systeme in kurzer Zeit bearbeitet und deren Qualität gesichert werden muss. Zur Steigerung des Automatisierungsgrades spielt im Teilprojekt insbesondere die Fragestellung eine Rolle, wie Künstliche Intelligenz als Werkzeug zur Entwicklungsunterstützung eingesetzt werden kann.

7. Verlässliches Maschinelles Lernen unter schwierigen Bedingungen

Die Künstliche Intelligenz hat in vielen Bereichen ihr enormes Potenzial bereits unter Beweis gestellt. In den meisten Anwendungen konnte sich die KI dabei allerdings selbst trainieren, indem sie zum Beispiel Spiele wie »Go» gegen »sich selbst« spielt. In anderen Fällen, wie in typischen Cloud-Anwendungen liegen viele Daten vor, die zum Training genutzt werden können. Betrachtet man die Anwendungen in technischen Systemen wie Produktionssystemen, liegen die Daten jedoch häufig gar nicht in der nötigen Quantität und Qualität vor.

Das Teilprojekt »Robustes und verlässliches Lernen« erforscht daher, wie Maschinelles Lernen auch unter herausfordernden Bedingungen – z. B. wenn zu wenige oder unausgewogene Trainingsdaten zur Verfügung stehen – für sicherheitsrelevante Anwendungen genutzt werden kann. Dies geschieht, indem die Robustheit und Verlässlichkeit der Algorithmen gewährleistet wird und diese zur Laufzeit durch zusätzliche Mechanismen überwacht werden. Damit bildet dieses Teilprojekt die Basis für die Entwicklung intelligenter Funktionen für eine Vielzahl von Anwendungsbereichen.

8. Zuverlässige intelligente Systeme zur Entscheidungsunterstützung

Im Fokus dieses Teilprojekts steht die Entwicklung von Kompetenzen, Werkzeugen, Technologien und Innovationen, die die folgenden drei Herausforderungen bewältigen können:

  • Wie kann man künftige Ereignisse aus der Beobachtung eines Systems zur Laufzeit früher vorhersagen? (Prädikative Modellierungskomponente)
  • Wie kann man zuverlässige Entscheidungsunterstützungssysteme entwickeln, die die kausalen Beziehungen zwischen zeitlichen Ereignissen berücksichtigen? (Entscheidungsunterstützungskomponente)
  • Wie kann man die Robustheit und Vollständigkeit von KI-basierten Produkten quantitativ bewerten? („Safe AI“ Komponente zur Validierung und Zertifizierung von KI-Algorithmen)

Um diese Fragen zu beantworten, müssen neue Technologien konzipiert und entwickelt werden, die die Lücke zwischen Anforderungen, Entwicklung, Einsatz, Validierung sowie Zertifizierung von KI-basierten Produkten überbrücken, womit sich genau dieses Teilprojekt beschäftigt. 

9. Sicherheitsnachweise für Künstliche Intelligenz

Im Teilprojekt »Sicherheitsnachweise für Künstliche Intelligenz« werden Verfahren entwickelt, mit deren Hilfe Belege für die Sicherheit KI-basierter Systeme geliefert werden können.

Für einen solchen Sicherheitsnachweis werden im Allgemeinen verschiedenartige Beweise entlang der gesamten Kette an unterschiedlichen Sicherheitsanforderungen gesammelt und geprüft, um eine durchgehende Sicherheitsargumentation zu erreichen. Für sicherheitskritische KI-basierte Systeme sind die erforderlichen Beweise sowie die zugehörigen Prüfverfahren noch nicht vollständig erforscht. In diesem Teilprojekt werden daher die wichtigsten, noch ungelösten Prüfverfahren zur Erbringung von Sicherheitsnachweisen erarbeitet.