Der Effizienzdruck in der Intralogistik ist hoch. Oft befinden sich in Lagerhallen zahlreiche Flurförderzeuge und Gabelstapler, die sich zwischen Arbeitern und Paletten schnell hin und her bewegen. Solche hochdynamischen Abläufe sind mit Gefahren und Risiken verbunden. Die Fahrer sind oft unerfahren und müssen unter großem Zeitdruck arbeiten. Laut Xesol Innovation, einem spanischen Unternehmen für Lösungen, die auf neuronalen Netzen und künstlicher Intelligenz basieren, gibt es jährlich 110.000 Unfälle mit Gabelstaplern. Sie verursachen neben Betriebsunterbrechungen auch Personenschäden; einige davon enden tödlich.
In erster Linie handelt es sich um Anfahrunfälle. Dies sind Unfälle, bei denen Beteiligte vom Stapler angefahren, gestreift oder eingequetscht werden. Obwohl gesetzlich nicht vorgeschrieben, wären viele Unfälle durch akustische Warnsignale beim Rückwärtsfahren vermeidbar. Im Rahmen einer Gefährdungsbeurteilung kann ermittelt werden, inwieweit eine Nachrüstung der Stapler notwendig und sinnvoll ist. Es sind verschiedene Maßnahmen zur Erkennung von Personen und Objekten denkbar, die zu einem akustischen Warnsignal führen können: vom Ultraschall-basierten System über Infrarottechnik und Sicherheits-Laserscannern bis hin zu kamerabasierten Lösungen.
Xesol Innovation hat sich mit dieser Problematik intensiv auseinandergesetzt und sich für ein 3D-Vision-System entschieden, da Ultraschall-Systeme eine schlechtere Auflösung bieten und die Unterscheidung von Menschen und Maschinen kaum ermöglichen. Laser-basierte Systeme wiederum sind anfällig für Interferenzen durch Reflektion und Tageslicht. Systeme, die auf 3D-Stereo basieren, hingegen gelten als robusteste Technologie sowohl für Innen als auch Außenbereiche. Sie können neben dem eigentlichen Tiefenbild auch RGB-Bilder für eine noch bessere Erkennungsleistung ausgeben.
Neue Lösung
Die aktuelle Lösung Drivox Security von Xesol Innovation besteht im Wesentlichen aus drei Komponenten: D435e Kameras von Framos, die für die dreidimensionale Wahrnehmung vorne und hinten am Fahrzeug angebracht sind, eine Mikroprozessor-Einheit für die KI-basierte Bildauswertung, sowie ein Display, das als Monitor für den Fahrer dient und die Berechnungsergebnisse visualisiert. Falls ein potenzielles Kollisionsrisiko besteht, warnt das System den Fahrer mit einem visuellen und akustischen Signal. Ein Hauptziel des Projekts bestand darin, die Zahl der Unfälle in Arbeitsumgebungen zu begrenzen, um Betriebsunterbrechungen aufgrund von Kollisionen zu vermeiden und vor allem das Leben der Arbeitnehmer zu schützen.
Framos liefert bei diesem Projekt die „Augen“ des Drivox Securitys. Der Anbieter von Bildverarbeitungsprodukten, Embedded-Vision-Technologien, kundenspezifischen Lösungen und OEM- Dienstleistungen hat – basierend auf der Intel RealSense Technologie – eine industrietaugliche GigE-Tiefenkamera entwickelt, die dem Fahrer den Blick in Bereiche eröffnet, die er ohne sie nicht immer hundertprozentig einsehen könnte. Framos gab auch Hilfestellung bei der Einbindung der Kameras in die komplette Sicherheitslösung. Die Tiefentechnologie und 3D-Bildgebung ist bei dieser Anwendung ganz entscheidend, denn Personen und Objekte müssen in den verschiedensten Abständen, Ausrichtungen und Umgebungssituationen zuverlässig erkannt und hinsichtlich einer Gefährdung beurteilt werden.
Xesol Innovation war einer der ersten Kunden, der die neue Kamera von Framos, die auf der Intel RealSense Technologie basiert, bereits im Beta-Stadium eingesetzt hat. Im Wesentlichen kam es Xesol Innovation auf die Gigabit-Ethernet-Schnittstelle und ein industrietaugliches Kameragehäuse an – dies sind genau die beiden Hauptmerkmale, die die Framos Lösung von der Standardausführung der Intel RealSense Kamera unterscheidet. Intel schlug Xesol Innovation vor, mit Framos in Kontakt zu treten, um die RealSense Kamera zu implementieren – es war der Startschuss für eine erfolgreiche Lösungsentwicklung.
Framos Tiefenkamera
Framos hat eine industrietaugliche 3D-Kameraversion entwickelt, die die Vorteile der Intel Technologie für industrielle Vision-Systeme in rauen Umgebungen nutzbar macht. Die 3D-Kamera arbeitet mit dem Intel RealSense SDK 2.0 zusammen und ist mit GigE Vision Softwareanwendungen kompatibel. Mit weiterführenden Bildanalyse oder KI-Funktionen lässt sich im Tiefenbild der Hintergrund ausblenden, es können weit entfernte Objekte verborgen oder Objekte mit einer Abstandsanzeige eingeblendet werden und dergleichen mehr. Die Tiefengenauigkeit hängt vom Abstand der Kamera zum Objekt, von der jeweiligen Szene und von den Lichtverhältnissen ab.
Die verwendeten RealSense Tiefenmodule sind ein sofort einsatzbereites 3D-System, das auf Stereoskopie basiert. Sie ermittelt den Abstand zu einem Objekt durch Berechnung der Disparitäten im Stereobild. Diese Technologie erfordert erheblich Rechenleistung, da für jedes Pixel der beiden Bilder die Disparität berechnet werden muss. Für diese Anwendung ist es ganz entscheidend, dass die Positionen der beiden Kameras und ihr Fokus stabil sind. Die RealSense Kameras sind deshalb vorkalibriert und exakt ausgerichtet. Der interne Intel Prozessor D4 in der Kamera übernimmt die Berechnungen, d.h. er kümmert sich um die „Verschmelzung“ der beiden Bilder. Hierfür wird in Echtzeit die Disparität und somit für jeden Pixel im Bild die zugehörige Tiefe berechnet, um Objekte und Personen zuverlässig zu erkennen.
Ein IR-Projektor in der Kamera gewährleistet, dass auch dann gute Bildergebnisse erzielt werden, wenn eine Szene kaum Struktur enthält, um die Disparität zu berechnen, z.B. bei einer ebenen Wand. Die zusätzliche Textur vom IR-Projektor (Texturgenerator) verbessert die Berechnungsergebnisse und sorgt dafür, dass eine Tiefenkarte auch bei gleichförmigen Strukturen erstellt werden kann.
Das Gehäuse der Framos Kamera ist mit Schutzart IP66 zum Schutz vor Wasser und Staub sowie mit vier M3-Bohrungen für die flexible Montage ausgestattet und verfügt über verriegelbare Anschlüsse für Gigabit-Ethernet (M12), Stromversorgung und GPIO (M8).
Ergebnis
Die Kamera ermöglicht in der Drivox Security Lösung von Xesol Innovation die vollständige Sicht auf Fußgänger und Objekte, die vom Gabelstapler 1 bis 8m weit entfernt sind. Dabei überträgt sie die Bilder der Umgebung im Livestream mit 30fps bei einer Auflösung von 1.280×720 Pixeln an das Display im Gabelstapler. Das in der Fahrerkabine installierte Display zeigt permanent die Bilder an, die von der im hinteren und vorderen Teil des Fahrzeugs installierten Kamera aufgenommen werden. Die KI-basierte Auswertung des Video-Streams erfolgt in der separaten Mikroprozessor-Einheit.
Das System kann Fußgänger und Hindernisse in drei verschiedenen Detektionszonen erkennen und weist jeweils auf die einzelnen Kollisionsrisiken hin, die mittels neuronaler Netze zur Erkennung und Identifizierung von Elementen und entsprechender Entscheidungsalgorithmen ermittelt werden. Die Software wird individuell gemäß dem jeweiligen Fahrzeug konfiguriert.
Im Falle einer Identifizierung von Fußgängern oder Hindernissen in den Detektionsbereichen gibt das System einen visuellen und/oder akustischen Alarm aus. Die Farben Rot, Orange und Gelb repräsentieren die verschiedenen Stufen des Kollisionsrisikos.
Das AI Visuelles Assistenzsystem ist resistent gegen Umwelteinflüsse und auch für raue Industrieumgebungen hervorragend geeignet. Der Einsatz von neuronalen Netzen ermöglicht die robuste Detektion und zuverlässige Warnung. Der Anwender ist in der Lage, die gesamte Umgebung des Fahrzeugs in Echtzeit zu überprüfen. Dies führt zu erhöhter Produktivität, Kosteneinsparungen, verbesserter Qualität und erhöhter Sicherheit der Mitarbeiter.
Ausblick
Derzeit wird geprüft, ob sich das Sichtfeld der Kamera noch vergrößern lässt. Interessant wäre eine Kamera mit einem höheren Sichtvermögen, sowohl in der Tiefe als auch mit größeren horizontalen bzw. vertikalen Parametern. Framos unterstützt Xesol Innovation bei der Integration neuer industrieller 3D-Vision-Kameras, vor allem auch dann, wenn es darum geht, die 3D-Technologie mit künstlicher Intelligenz (KI-Funktionen) zu kombinieren.
