Künstlich intelligent mit Ball und Stofftier

Objekterkennung in Echtzeit durch Kombination von künstlicher Intelligenz und Cutting-Edge-Digitaltechnik

Ein Gespräch mit Nico Canzani, geführt von Dr. Anita Gertiser

Warum ist Künstliche Intelligenz (KI) basierend auf neuronalen Netzwerken (KNN) aktuell so relevant?

Künstliche Intelligenz, kurz KI oder AI für artificial intelligence, entwickelt sich gerade zu einer Schlüsseltechnologie, mit der Fehler in Produktionsabläufen ermittelt, Geschäftsprozesse optimiert oder medizinische Diagnosen unterstützt werden. Die Einsatzmöglichkeiten sind schier unendlich. In der Elektrotechnik kommt die sogenannte Edge AI (siehe Infobox für Zusatzinformationen) zum Einsatz. Dies bedeutet, dass KI-Algorithmen lokal auf dem Gerät selbst ausgeführt werden. In Echtzeit-Anwendungen wie beispielsweise bei selbstfahrenden Autos ist dies zwingend, damit das System das Auto rechtzeitig abbremsen oder einem Hindernis ausweichen kann. Das Beispiel zeigt auch gleich die Notwendigkeit lokaler Verarbeitung, denn es müssen tausende von Fahrzeugdaten und Umgebungsinformationen pro Sekunde interpretiert und in Steuerungssignale umgesetzt werden. Das ist unmöglich mit dem Umweg über eine Applikation in der Cloud. Deshalb wird der AI-Algorithmus als Embedded System realisiert und ins Leitsystem integriert, was wiederum eine typische Elektrotechnikeraufgabe ist.

Was ist das Besondere – aus elektrotechnischer Sicht – an diesem Projekt? Wie ist das System aufgebaut?

Die Aufgabe in unserem P5-/P6-Projekt bestand darin, einen Wurfstand für 22 unterschiedliche Gegenstände zu entwickeln, die mit einer KI korrekt erkannt werden müssen. Der Aufbau besteht aus einer Kamera, dem passenden Dev-Board (Ultra96-V2) und einem daran angeschlossenen Monitor, auf dem die Resultate angezeigt werden. Die Wurfobjekte werden an der Kamera vorbeigeworfen, die die Gegenstände mit 200 fps (frame per second) festhält. Die aufgenommenen Bilder werden auf einem Mikrokontroller mittels Änderungs-Algorithmus (geschrieben in C++) in Echtzeit miteinander verglichen. Liegen relevante Änderungen vor, wird das Hauptprogramm (geschrieben in Python) benachrichtigt. Dieses verwaltet das GUI und koordiniert die Kommunikation mit den Sub-Komponenten. Die relevanten Bilder werden sofort an ein sogenanntes FPGA (siehe Infobox für Zusatzinformationen) geliefert. Das FPGA enthält eine Deep Processing Unit (DPU) von Xilinx, die mit Verilog fürs Projekt programmiert ist. Die DPU ist in der Lage, Objekte zu erkennen, welche zuvor trainiert wurden. Sobald die Erkennung abgeschlossen ist, wird das Hauptprogramm über das Resultat des Bildes informiert. Wenn alle Bilder verarbeitet sind, entscheidet das Hauptprogramm auf der Basis eines weiteren Algorithmus, um welches Objekt es sich beim eben geworfenen gehandelt hat.
Das Besondere an diesem Projekt ist das verwendete FPGA. Dieses ermöglicht eine Objekt-Erkennung in nur 7.5 ms und ist somit gegenüber einer Computer-CPU bedeutend schneller.

Wie kann man einem System beibringen, Gegenstände zu erkennen?

Um die Objekte zu erkennen, muss dem neuronalen Netz zuerst «erklärt» werden, um welche Gegenstände es sich handelt. Dies kann man sich so vorstellen, wie man einem kleinen Kind beibringt: «Was ist das für ein Tier? Eine Kuh! Genau, und wie macht die Kuh? Iii-Aaah? Nein, Muh.» Wie gesagt, haben wir 22 unterschiedliche Objekte benutzt und das System zuerst mit jeweils ca. 1000 Bildern «gefüttert». Dabei wurden die Bilder künstlich verändert, bspw. bezüglich Helligkeit, Rotation oder gar gespiegelt. Am Ende waren es rund 100’000 Bilder, die mehrfach getestet wurden. Man kann sich vorstellen, wie zeit- und rechenintensiv diese Tests waren. Mit diesen 100’000 Bildern wurde das neuronale Netz (DPU) mit dem TensorFlow-Tool trainiert.

Wie wurde das System getestet?

Um zu prüfen, ob der Wurfstand die 22 Objekte richtig erkennt, gibt es verschiedene Verifikationsverfahren, wie z. B. die Verwendung des Top-K-Wertes. Dieser Wert gibt an, der wievielte Zuordnungversuch des neuronalen Netzwerks (in absteigender Wahrscheinlichkeit) dem geworfenen Objekt entspricht, d. h. korrekt ist.

So hat die Wurfstand-Konfiguration bei 99.8 % der Test-Würfe schon beim ersten Zuordnungsversuch (entsprechend einem Top-K-Wert von eins) richtig getippt. Und bei max. drei Zuordnungs-Kalkulationen (Top-K-Wert von drei) wurden sogar 100 % richtig erkannt. Dies gilt aber nur unter korrekten Bedingungen. Eine störende Hand ist nicht mittrainiert worden und kann folglich das Resultat verfälschen. Mit einem gezielten Training könnte dem System jedoch beigebracht werden, auch Störelemente herauszufiltern.

Eine weitere Verifikation ist die benötigte Zeit pro Bild. Diese liegt für die DPU bei durchschnittlich 7.5 ms und bei total 24 ms, wenn Kamera-Akquisition, die Bildvorverarbeitung und die mathematischen Layer hinzugerechnet werden. Somit ist das Gesamtsystem in der Lage, 41 frames per second (fps) auszuwerten

[Die dazugehörigen technischen Details sind alle auf Github verfügbar.]

Was waren die grössten Herausforderungen – aus technischer Sicht?

Die Auswahl der richtigen Komponenten und deren Programmierung in verschiedenen Sprachen. Ebenso waren die Schnittstellen für die riesigen Datenmengen und die Kontrolle von Signal- und Informationsfluss sehr anspruchsvoll. Speziell bei dieser Aufgabe war die zusätzlich (teils manuelle) notwendige Aufbereitung der Referenzdaten und die Erzeugung der Verifikationsdaten im Wurfstand. Es konnte also nicht wie üblich einfach gemessen werden.

Was ist der Nutzen dieses Projekts?

Es konnte aufgezeigt werden, dass heute Objekt-lokale KI relativ einfach und kostengünstig in ein Gesamt-System eingebettet werden kann. Sie liefert die notwendige Performance, um in Echtzeit KI-Aufgaben für Herstellungs- und/oder Überwachungsprozesse zu unterstützen.

Das Projekt ist für die Elektrotechnik an der Hochschule für Technik wichtig, weil es die traditionelle Elektrotechnik um zukunftsorientierte KI- Komponenten und deren Programmierung kombiniert und erweitert.

Nachfolgende Studierende, die ein ähnliches Projekt wählen möchten, erhalten dank der ausführlichen Github-Dokumentation wertvolle Hinweise für «Dos and Don’ts»

Weiterführende Links

• Repository (Gitlab)
• Bachelor-Thesis (Gitlab)
• Fact Sheet zum Projekt