Adrian Schwaiger, wissenschaftlicher Mitarbeiter am Fraunhofer-Institut für Kognitive Systeme IKS, stellt beim Workshop SafeAI der AAAI-20 Conference in New York sein neues Paper »Benchmarking Uncertainty Estimation Methods for Deep Learning With Safety-Related Metrics« vor. Darin vergleicht er mit seinen Kollegen Maximilian Henne, Karsten Roscher and Gereon Weiß, aktuelle Modelle der Messung von Unsicherheit bei Deep Neural Networks, um Sicherheit und Performance Kognitiver Systeme optimal zu vereinen.

Unsicherheiten von KI messbar machen

Deep Neural Networks liefern im Allgemeinen sehr gute Vorhersagen, allerdings erkennen sie nicht, wann diese Vorhersagen falsch sein können. Das ist besonders bei Anwendungen in sicherheitskritischen Bereichen problematisch, beispielsweise im Straßenverkehr oder in der Medizintechnik.

Um KI in diesen Bereichen einsetzen zu können, muss sie erkennen, wie zuverlässig ihre Vorhersagen sind. Unsicherheit (uncertainty) muss dazu zunächst messbar werden.

Deswegen bewerten und vergleichen die Autoren des vorgestellten Papers verschiedene Modelle zur Schätzung von Unsicherheit bei der Bildklassifizierung durch KI. Ein besonderer Fokus liegt dabei auf dem jeweiligen Trade-Off zwischen Sicherheit und Performance.

 

Vortrag auf dem SafeAI Workshop der AAAI-20 Conference
Adrian Schwaiger
»Benchmarking Uncertainty Estimation Methods for Deep Learning With Safety-Related Metrics«
7. Februar 2020, 16.00-17.20 Uhr, New York