Zeitkritisches Machine Learning in intelligenten Kameras

Herzstück der intelligenten Kamera iam von NET ist eine System-on-Chip(SoC)-Plattform mit integriertem FPGA und ARM CPU. Sie befähigt die Smart-Kamera dazu auch zeitkritische Machine-Learning-Aufgaben performant zu lösen, die bis dahin nur von Host-PCs mit Multi-Core-Prozessor-Architekturen bewältigt werden konnten.
Bild 1 | Mit der intelligenten Kamera iam können aufgrund ihrer SoC-Architektur auch Machine Learning und andere komplexe Anwendungen direkt in der Kamera realisiert werden.
Bild 1 | Mit der intelligenten Kamera iam können aufgrund ihrer SoC-Architektur auch Machine Learning und andere komplexe Anwendungen direkt in der Kamera realisiert werden.Bild: NET New Electronic Technology GmbH

Zentrales Element der Kamera ist ein Xilinx SoC aus der Zynq-Familie. Dieser Baustein kombiniert einen ARM-Prozessor mit programmierbarer FPGA-Logik und ermöglicht so ein kompaktes Systemdesign. Bei der Implementierung verschiedenster Bildverarbeitungsaufgaben können Software und FPGA-beschleunigte Signalverarbeitung flexibel kombiniert werden. Auf Bilddaten im gemeinsamen Speicher kann sowohl vom Prozessorsystem als auch von der programmierbaren Logik zugegriffen werden. Das lokal verzahnte Zusammenspiel der SoC-Komponenten garantiert minimale Latenz und hohe Leistungseffizienz. Insbesondere die Berechnung von neuronalen Netzen (CNN) kann durch FPGA-basierte Signalverarbeitung erheblich beschleunigt werden, was die iam zur idealen Lösung für Maschine-Learning-Aufgaben macht. Die Optimierung und das Training der Netzwerke werden üblicherweise mit interaktiven Werkzeugen auf leistungsstarken CPU/GPU-Systemen durchgeführt. Für die Ausführung des fertigen Netzwerks steht ein FPGA-basierter Beschleuniger-Block für CNN-Netzwerke (DPU) zur Verfügung.

Aufbau der Plattform

NET liefert eine fertige Konfiguration für das FPGA-System, die ein DMA-Sensordaten-Interface und einen DPU-Beschleuniger enthält. Auf dem vorinstallierten und vollständig konfigurierten Embedded-Linux Betriebssystem läuft eine optimierte Version von SynView, dem plattformübergreifenden Bildverarbeitungssystem von NET. SynView kann das Sensor-Frontend von iam als normales Eingabegerät öffnen, Aufnahmeparameter steuern und Bilder einziehen. Die eingesetzte SynView-Version enthält zudem eine GigE-Vision-Schnittstelle, welche Bilder über die Ethernet Verbindung der Kamera ausgeben kann und eine GenICam kompatible Steuerung von einem Host-System ermöglicht. Durch die Kombination der Komponenten ist es möglich, große Teile einer Anwendung auf einem Host-PC zu entwickeln und zu testen, um sie anschließend mit geringen Anpassungen auf die intelligente Kamera übertragen zu können. Zudem kann iam zu Einrichtungs- und Überwachungszwecken jederzeit von einer GenICam-kompatiblen Software als Eingabegerät verwendet werden.

Bild 2 | Darstellung des hardware-beschleunigten 
Bildverarbeitungsprozesses in der Smart-Kamera iam
Bild 2 | Darstellung des hardware-beschleunigten Bildverarbeitungsprozesses in der Smart-Kamera iamBild: NET New Electronic Technology GmbH

Arbeiten in gewohnter Umgebung

Netzwerke für Machine-Learning-Anwendungen können mit bekannten Werkzeugen, basierend auf Tensorflow oder Caffe, entwickelt und trainiert werden. Für die resultierenden Netzbeschreibungen stehen passende Xilinx Vitis AI Tools bereit, welche die Netzwerke für die Ausführung in der DPU automatisch anpassen und optimieren. Zudem steht dem Anwender eine einsatzfähige Laufzeitumgebung für die benötigten Konvertierungstools zur Verfügung. Eine Bildverarbeitungsanwendung kann ein so vorbereitetes Netzwerk dynamisch laden und ausführen. NET unterstützt den Einstieg durch bereitgestellte Referenz-Anwendungen für den Einsatz von CNN-Netzen.

Zahlreiche Einsatzgebiete

In der Praxis ergibt sich damit für die iam Smart-Kamera ein breites Anwendungsfeld. Exemplarisch lassen sich Robotik-Applikationen in der Landwirtschaft anführen, wo kompakte Smart-Vision-Lösungen für Obst und Gemüse auf dem Acker oder der Wiese eingesetzt werden können. Geht es um die Vollständigkeitsprüfung von Lebensmittelverpackungen hat eine regelbasierte Software zusehends das Nachsehen. Lernende beziehungsweise trainierte Systeme leisten immer bessere Arbeit, weil Surimi, Aal und Nori-Blätter ein hohes Maß an Heterogenität aufweisen. Schließlich existiert auch bei der optischen Inspektion und Sortierung von Arzneimitteln in der Pharmazie eine große Varianz, die modernen Machine-Learning-Verfahren ´on the edge´ in Embedded-Vision-Kameras ein Handlungsfeld bietet. Ist zudem die Möglichkeit gegeben, eine anwendungsspezifische Auslegung mit bereits passendem mechanischem oder optischem Zubehör umzusetzen, wird zusätzlicher Integrationsaufwandvermieden.

Seiten: 1 2Auf einer Seite lesen

NET New Electronic Technology GmbH

Das könnte Sie auch Interessieren

Anzeige

Anzeige

Bild: ©NicoElNino/stock.adobe.com
Bild: ©NicoElNino/stock.adobe.com
Strukturierter Beratungsansatz für KI-Einsatzbereiche im Unternehmen

Strukturierter Beratungsansatz für KI-Einsatzbereiche im Unternehmen

„Künstliche Intelligenz ist eine, wenn nicht die wichtigste Zukunftstechnologie für Unternehmen.“ Diese Aussage bejahen 70 Prozent der Befragten der jüngsten Bitkom-Studie zu KI. Aber nur 10 Prozent aller Unternehmen haben KI-Technologie aktiv im Einsatz, lediglich 30 Prozent planen und diskutieren deren Anwendung. Was ist der Grund für diese große Diskrepanz?

Bild: Blue Yonder, Inc.
Bild: Blue Yonder, Inc.
Künstliche Intelligenz – mehr als eine Wissenschaft

Künstliche Intelligenz – mehr als eine Wissenschaft

Data Science ist mittlerweile ein fester Bestandteil der strategischen Planung in vielen Unternehmen. Um künftige Entwicklungen realistisch zu planen, brauchen wir Künstliche Intelligenz (KI) und Maschinelles Lernen (ML). Insbesondere im Einzelhandel vertrauen immer mehr große Player auf KI-Lösungen, die präzise Prognosen ermöglichen und zum Beispiel Bestände oder Preise optimieren. Doch viele Entscheidungsträger glauben noch nicht daran, dass KI in den Lieferketten der Zukunft eine tragende Rolle spielen wird. Der Grund hierfür liegt in einer falschen Sicht auf die Wissenschaft.

Bild: ©Stock57/stock.adobe.com
Bild: ©Stock57/stock.adobe.com
KI-Verfahren für die Produktion

KI-Verfahren für die Produktion

Mathematiker der Hochschule Darmstadt (h_da) entwickeln gemeinsam mit dem Hanauer Simulationsdienstleister und Softwareunternehmen SimPlan und dem Automationsexperten Fibro Läpple Technology neue KI-Technologien. Im Rahmen des Loewe-Projekts ‚KISPo‘ will das Konsortium eine autonome, selbstlernende Steuerungssoftware für Produktionsanlagen entwickeln, wie sie z.B. bei der Herstellung von Komponenten für Windräder oder Elektromotoren zum Einsatz kommen. Es wäre die erste KI-Software dieser Art. Damit würde eine von Industrieverbänden und Forschung lange bemängelte Technologielücke geschlossen. Das Land Hessen fördert das Projekt für zwei Jahre mit 320.000 Euro. Konsortialführerin ist die Hochschule Darmstadt.

Bild: ©NicoElNino/stock.adobe.com
Bild: ©NicoElNino/stock.adobe.com
Chancen und Herausforderungen von Machine Learning in der Fertigung

Chancen und Herausforderungen von Machine Learning in der Fertigung

Automatisierung, künstliche Intelligenz (KI), Internet of Things (IoT) und Machine Learning (ML) sind heutzutage bekannte Technologien und kommen bereits in vielen Unternehmen zum Einsatz. Mit Hilfe von Machine Learning wird es IT-Systemen ermöglicht, Muster und Zusammenhänge aus Daten zu lernen und sich selbst zu verbessern. Dabei ist keine explizite Programmierung notwendig. Die Bearbeitung von Kundenanfragen, die Erkennung möglicher Störfälle sowie unerwarteter Ereignisse wie z.B. Cyberangriffe sind klassische Anwendungsfelder von ML. Aber auch die Unterstützung bei einer rein datengestützten Entscheidungsfindung und die Interpretation großer Datenmengen gehören dazu.

Bild: ©Shuo/stock.adobe.com
Bild: ©Shuo/stock.adobe.com
Sensoren lernen das Denken

Sensoren lernen das Denken

Im Fraunhofer-Leitprojekt NeurOSmart forscht das Fraunhofer IPMS zusammen mit vier weiteren Instituten (ISIT, IMS, IWU, IAIS) unter Leitung des Fraunhofer ISIT gemeinsam an energieeffizienten und intelligenten Sensoren für die nächste Generation autonomer Systeme. Dabei sollen die Brücken zwischen Wahrnehmung und Informationsverarbeitung durch innovative Elektronik neu definiert werden.

Bild: ©ipopba/stock.adobe.com
Bild: ©ipopba/stock.adobe.com
Wie KI 2022 praktikabel wird

Wie KI 2022 praktikabel wird

Künstliche Intelligenz war bereits in der Vergangenheit in aller Munde, schaffte es aber doch oft nicht bis in die Anwendung. Das wird sich 2022 ändern – auch weil sich langsam Standards etablieren und sich neue, konkrete Einsatzmöglichkeiten ergeben. In welchen Bereichen Business-Implementierungen zu erwarten sind, erläutert Bernhard Niedermayer, Head of AI bei Cloudflight.

Anzeige

Anzeige

Anzeige