Zeitkritisches Machine Learning in intelligenten Kameras

Herzstück der intelligenten Kamera iam von NET ist eine System-on-Chip(SoC)-Plattform mit integriertem FPGA und ARM CPU. Sie befähigt die Smart-Kamera dazu auch zeitkritische Machine-Learning-Aufgaben performant zu lösen, die bis dahin nur von Host-PCs mit Multi-Core-Prozessor-Architekturen bewältigt werden konnten.
Bild 1 | Mit der intelligenten Kamera iam können aufgrund ihrer SoC-Architektur auch Machine Learning und andere komplexe Anwendungen direkt in der Kamera realisiert werden.
Bild 1 | Mit der intelligenten Kamera iam können aufgrund ihrer SoC-Architektur auch Machine Learning und andere komplexe Anwendungen direkt in der Kamera realisiert werden.Bild: NET New Electronic Technology GmbH

Zentrales Element der Kamera ist ein Xilinx SoC aus der Zynq-Familie. Dieser Baustein kombiniert einen ARM-Prozessor mit programmierbarer FPGA-Logik und ermöglicht so ein kompaktes Systemdesign. Bei der Implementierung verschiedenster Bildverarbeitungsaufgaben können Software und FPGA-beschleunigte Signalverarbeitung flexibel kombiniert werden. Auf Bilddaten im gemeinsamen Speicher kann sowohl vom Prozessorsystem als auch von der programmierbaren Logik zugegriffen werden. Das lokal verzahnte Zusammenspiel der SoC-Komponenten garantiert minimale Latenz und hohe Leistungseffizienz. Insbesondere die Berechnung von neuronalen Netzen (CNN) kann durch FPGA-basierte Signalverarbeitung erheblich beschleunigt werden, was die iam zur idealen Lösung für Maschine-Learning-Aufgaben macht. Die Optimierung und das Training der Netzwerke werden üblicherweise mit interaktiven Werkzeugen auf leistungsstarken CPU/GPU-Systemen durchgeführt. Für die Ausführung des fertigen Netzwerks steht ein FPGA-basierter Beschleuniger-Block für CNN-Netzwerke (DPU) zur Verfügung.

Aufbau der Plattform

NET liefert eine fertige Konfiguration für das FPGA-System, die ein DMA-Sensordaten-Interface und einen DPU-Beschleuniger enthält. Auf dem vorinstallierten und vollständig konfigurierten Embedded-Linux Betriebssystem läuft eine optimierte Version von SynView, dem plattformübergreifenden Bildverarbeitungssystem von NET. SynView kann das Sensor-Frontend von iam als normales Eingabegerät öffnen, Aufnahmeparameter steuern und Bilder einziehen. Die eingesetzte SynView-Version enthält zudem eine GigE-Vision-Schnittstelle, welche Bilder über die Ethernet Verbindung der Kamera ausgeben kann und eine GenICam kompatible Steuerung von einem Host-System ermöglicht. Durch die Kombination der Komponenten ist es möglich, große Teile einer Anwendung auf einem Host-PC zu entwickeln und zu testen, um sie anschließend mit geringen Anpassungen auf die intelligente Kamera übertragen zu können. Zudem kann iam zu Einrichtungs- und Überwachungszwecken jederzeit von einer GenICam-kompatiblen Software als Eingabegerät verwendet werden.

Bild 2 | Darstellung des hardware-beschleunigten 
Bildverarbeitungsprozesses in der Smart-Kamera iam
Bild 2 | Darstellung des hardware-beschleunigten Bildverarbeitungsprozesses in der Smart-Kamera iamBild: NET New Electronic Technology GmbH

Arbeiten in gewohnter Umgebung

Netzwerke für Machine-Learning-Anwendungen können mit bekannten Werkzeugen, basierend auf Tensorflow oder Caffe, entwickelt und trainiert werden. Für die resultierenden Netzbeschreibungen stehen passende Xilinx Vitis AI Tools bereit, welche die Netzwerke für die Ausführung in der DPU automatisch anpassen und optimieren. Zudem steht dem Anwender eine einsatzfähige Laufzeitumgebung für die benötigten Konvertierungstools zur Verfügung. Eine Bildverarbeitungsanwendung kann ein so vorbereitetes Netzwerk dynamisch laden und ausführen. NET unterstützt den Einstieg durch bereitgestellte Referenz-Anwendungen für den Einsatz von CNN-Netzen.

Zahlreiche Einsatzgebiete

In der Praxis ergibt sich damit für die iam Smart-Kamera ein breites Anwendungsfeld. Exemplarisch lassen sich Robotik-Applikationen in der Landwirtschaft anführen, wo kompakte Smart-Vision-Lösungen für Obst und Gemüse auf dem Acker oder der Wiese eingesetzt werden können. Geht es um die Vollständigkeitsprüfung von Lebensmittelverpackungen hat eine regelbasierte Software zusehends das Nachsehen. Lernende beziehungsweise trainierte Systeme leisten immer bessere Arbeit, weil Surimi, Aal und Nori-Blätter ein hohes Maß an Heterogenität aufweisen. Schließlich existiert auch bei der optischen Inspektion und Sortierung von Arzneimitteln in der Pharmazie eine große Varianz, die modernen Machine-Learning-Verfahren ´on the edge´ in Embedded-Vision-Kameras ein Handlungsfeld bietet. Ist zudem die Möglichkeit gegeben, eine anwendungsspezifische Auslegung mit bereits passendem mechanischem oder optischem Zubehör umzusetzen, wird zusätzlicher Integrationsaufwandvermieden.

Fazit

Iam bietet als einsatzfertige Embedded-Vision-Kamera den direkten Einstieg für Integratoren und Maschinenhersteller in die Umsetzung dezentraler Anwendungen, die auch von rechenintensiven Machine-Learning-Technologien profitieren können. Denn iam ermöglicht es KI direkt auf der Kamera als Edge-Device auszuführen. Da NET die Kameralösung auch vor-konfiguriert anbietet, können sich Anwender in erster Linie auf ihre Anwendung konzentrieren.

NET New Electronic Technology GmbH

Das könnte Sie auch Interessieren

Bild: Fraunhofer IEM
Bild: Fraunhofer IEM
Effiziente Produktionsplanung: KI reduziert Aufwand bei Schulte Kartonagen um 25%

Effiziente Produktionsplanung: KI reduziert Aufwand bei Schulte Kartonagen um 25%

Welcher Liefertermin steht wann an? Wie aufwändig muss die Maschine umgerüstet werden? Ist das benötigte Material bereits geliefert? Um die Reihenfolge verschiedener Kundenaufträge optimal zu planen, müssen Produktionsplaner:innen eine Vielzahl von Faktoren kennen und einschätzen. Bei Schulte Kartonagen hat ab sofort ein intelligenter KI-Assistent alle Faktoren im Blick – und macht Vorschläge für die effiziente Planung der Produktion. Gefördert wurde die Zusammenarbeit mit dem Fraunhofer IEM und den Universitäten Paderborn und Bielefeld im it’s OWL-Projekt ARISE.

Bild: schoesslers GmbH
Bild: schoesslers GmbH
appliedAI Institute for Europe launcht kostenlosen KI-Onlinekurs

appliedAI Institute for Europe launcht kostenlosen KI-Onlinekurs

Das gemeinnützige appliedAI Institute for Europe stellt den kostenfreien Online-Kurs ‚AI Essentials‘ zur Verfügung, der es Interessierten ermöglicht, in die Welt der Künstlichen Intelligenz einzusteigen. Konzepte wie maschinelles Lernen und Deep-Learning sowie deren Anwendungsmöglichkeiten und Auswirkungen auf unser Leben und unsere Wirtschaft sind Teile der umfassenden Einführung.

Bild: Trumpf SE + Co. KG
Bild: Trumpf SE + Co. KG
Künstliche Intelligenz macht Fabriken clever

Künstliche Intelligenz macht Fabriken clever

Seit dem Siegeszug des Chatbots ChatGPT ist künstliche Intelligenz in aller Munde. Auch in der industriellen Produktionstechnik kommt KI mit großen Schritten voran. Lernende Maschinen machen die Fertigung effizienter. Wie funktioniert das genau? Das können Interessierte auf der EMO Hannover 2023 vom 18. bis 23. September erfahren. Die Weltleitmesse für Produktionstechnologie wird ihr Fachpublikum unter dem Claim ‚Innovate Manufacturing‘. mit frischen Ideen inspirieren und künstliche Intelligenz spielt dabei ihre Stärken aus.

Bild: Mitsubishi Electric Corporation, Japan
Bild: Mitsubishi Electric Corporation, Japan
KI-gestütztes Analysetool für moderne Produktionslinien

KI-gestütztes Analysetool für moderne Produktionslinien

Das Data-Science-Tool Melsoft MaiLab von Mitsubishi soll Unternehmen bei der Digitalisierung ihrer Fertigung und unterstützen und so deren Produktivität steigern. Die neue Lösung ist eine intuitive, bedienerzentrierte Plattform, die KI nutzt, um Abläufe automatisch zu verbessern. Sei es Abfallvermeidung durch geringere Ausschussmengen, weniger Stillstandszeiten durch vorbeugende Wartung oder Senkung des Energieverbrauchs durch Prozessoptimierung.

Bild: Fraunhofer IGD
Bild: Fraunhofer IGD
Software Arrange beschleunigt Absortierprozesse

Software Arrange beschleunigt Absortierprozesse

In Kombination mit einer Augmented-Reality-Brille bietet eine neue Software des Fraunhofer IGD digitale Unterstützung von Absortiervorgängen. Zusammengehörige Bauteile werden direkt im Sichtfeld der Beschäftigten an der Produktionslinie farblich überlagert. Anwender im Automotive-Bereich können so etwa durch beschleunigte Prozesse und eine minimierte Fehleranfälligkeit Kosten reduzieren.