Aktuelle Methoden zur Analyse und Validierung neuronaler Netzwerke entstammen vor allem der wissenschaftlichen Forschung. Branchenübliche Anforderungen an die funktionale Sicherheit werden dabei oftmals nicht berücksichtigt. So fordern etwa die ISO26262 und ISO/PAS21448 von den Automobilherstellern ein deutlich umfassenderes Wissen über die konkrete Funktionsweise und die Entscheidungspfade neuronaler Netzwerke, als dies im wissenschaftlichen Diskurs bisher besprochen wird. „Um Präzisionsprobleme bei der Objekterkennung durch Convolutional Neuronal Networks (CNN) besser zu verstehen, haben wir daher eine Software entwickelt, mit der eine standardisierte Validierung möglich ist“, berichtet Václav Diviš, Senior Engineer ADAS & Autonomous Driving bei ARRK Engineering. „Bei der Entwicklung dieses Visualisierungs-Tools legten wir die Grundlage einer neuen Bewertungsmethode: die sogenannte Neurons‘ Criticality Analysis (NCA).“ Aufgrund dieses Prinzips lässt sich eine zuverlässige Aussage darüber abgeben, wie wichtig oder schädlich einzelne Neuronen für eine korrekte Objekterkennung sind.
Komplexes Zusammenspiel
Das Zusammenspiel der einzelnen Neuronen in den zahlreichen Schichten eines CNN ist komplex. Jede Schicht und jedes Neuron übernehmen darin besondere Aufgaben bei der Erkennung eines Objekts – beispielsweise ein grobes Aussortieren nach Formen oder das Filtern bestimmter Farben. Jeder Arbeitsschritt trägt aber in unterschiedlichem Ausmaß zum Erfolg einer Objekterkennung bei und kann das Ergebnis sogar verschlechtern. Diese Komplexität führt dazu, dass die Wichtigkeit einzelner Neuronen für die Entscheidung bisher undurchschaubar war. Daher hat ARRK für sein neues Tool eine Grafik-Oberfläche zur Visualisierung dieser Pfade entwickelt. „Auf diese Weise lässt sich die Entscheidungsfindung eines CNN optisch darstellen“, so Diviš. „Außerdem kann die Relevanz bestimmter Schritte für die finale Entscheidung erhöht, verringert oder sogar ganz ausgeschaltet werden. In Echtzeit ermittelt das Tool nach jeder erfolgten Anpassung unmittelbar die Auswirkung dieser geänderten Parameter. Somit kann die Wichtigkeit bestimmter Neuronen und deren Aufgabe leichter erkannt und nachvollzogen werden.“ Das Streaming der Daten kann jederzeit pausiert werden, um eine Analyse vorzunehmen. Dabei können auch einzelne Elemente genauer untersucht werden.
Zugriff über OpenGL
Für dieses visuelle Backend wählte der Engineering-Dienstleister die plattformübergreifende Programmierschnittstelle OpenGL. Dadurch ist die Software auf jedem Gerät universell einsetzbar – sei dies PC, Handy oder Tablet. „Besonderen Wert haben wir außerdem auf die Optimierung der Berechnung und der folgenden grafischen Darstellung gelegt“, erläutert Diviš. „Daher wurden in unseren abschließenden Benchmark-Tests besonders die Framedrops überprüft. In diesem Rahmen konnten wir feststellen, dass selbst bei der Verarbeitung eines Videos und unter Verwendung einer Webcam die Framerate stabil bei rund fünf FPS lag – sogar bei der Visualisierung von 90 Prozent aller möglichen Feature-Maps, was in etwa 10.000 entspricht.“ Trotz der Vielzahl an grafischen Informationen und Daten sind somit keinerlei FPS-Einbrüche zu erwarten.
Neurons‘ Criticality Analysis
Beim Anlernen des CNN innerhalb des Visualisierungs-Tools werden die Deep-Learning-APIs TensorFlow und Keras als Grundlage verwendet, wodurch allgemeine Standards wie eine flexible Implementierung sämtlicher Klassen und Funktionen in Python bedient werden. Auch weitere externe Bibliotheken lassen sich anbinden. Sobald das neuronale Netzwerk ausreichend trainiert wurde, kann die Analyse der kritischen und antikritischen Neuronen beginnen – die Neurons‘ Criticality Analysis. „Dafür bieten wir als modifizierbare Parameter zusätzliches Bildrauschen (noise), das Hinzufügen oder Entfernen von Farbfiltern sowie die Maskierung bestimmter benutzerdefinierter Bereiche“, erläutert Diviš. „Eine Veränderung dieser Werte zeigt direkt, wie stark einzelne Neuronen die Entscheidung am Ende beeinflussen. Auch wird so deutlich, welche Stellen des neuronalen Netzwerkes möglicherweise den gesamten Erkennungsprozess stören.“
Kritikalität berechnen
Mithilfe eines Algorithmus wird basierend auf dieser Analyse automatisch die Kritikalität jedes einzelnen Neurons berechnet. Liegt der Wert eines Neurons darüber, stört es die korrekte Bilderkennung. Der kritische Schwellenwert kann dabei beliebig angepasst werden. „Die finale Definition dieses Schwellenwertes hängt von zahlreichen Faktoren ab – beispielsweise von der erwünschten funktionalen Sicherheit, aber auch ethische Aspekte spielen hierbei eine nicht zu unterschätzende Rolle“, ergänzt Diviš. „Je nach Wunsch kann dieser Wert selbst darüber hinaus noch angepasst werden, wodurch die größtmögliche Flexibilität des Tools gewährleistet ist.“ Auf diese Weise ist das Tool nicht auf die derzeitigen Ansprüche und Normen fixiert.
Der KI vertrauen
Das Visualisierungs-Tool ermöglicht eine grafische Validierung neuronaler Netzwerke. Durch die Software in Verbindung mit der NCA können nun weitere Schritte folgen, um die Sicherheitsrisiken beim autonomen Fahren weiter zu reduzieren. „Unser Ziel ist es, die Anzahl der kritischen Neuronen zu minimieren oder besser aufzuteilen, sodass wir auf eine robuste Bilderkennung der KI vertrauen können“, schildert Diviš. Momentan arbeitet ARRK beispielsweise bereits an einer Ergänzung der Klassifizierung mit der Lokalisation von Objekten. Hier besteht allerdings noch die Herausforderung, dass neben der Klassifizierung auch die Koordinaten der Objekte auf übersichtliche Weise visualisiert werden müssen.
