Suchen

Embedded 3D-Vision Hochauflösende 3D-Daten direkt von der Kamera

| Autor / Redakteur: Heiko Seitz* / Dipl. -Ing. Ines Stotz

3D-Kameras können die Automatisierung effektiver machen, erzeugen aber enorme Datenmengen, die bisher nur leistungsstarke Industrie-PCs berechnen können. Jetzt lassen sich rechenintensive Prozesse auch in die Kamera verlagern.

Firmen zum Thema

Mit der XR-Kameraserie verfolgt Ensenso einen neuen Ansatz. Durch ein integriertes SoC (System-on-Chip) führt die Kamera die 3D-Prozesse inklusive der Stereoanalyse selbst aus.
Mit der XR-Kameraserie verfolgt Ensenso einen neuen Ansatz. Durch ein integriertes SoC (System-on-Chip) führt die Kamera die 3D-Prozesse inklusive der Stereoanalyse selbst aus.
(Bild: IDS)

Wenn große Volumen oder mehrere Objektansichten durch 3D-Kameras automatisiert zu prüften sind, etwa an ständig laufenden Automobil-Produktionsstraßen, müssen aufgrund der vorgegebenen Taktzeiten hochauflösende 3D-Ergebnisdaten schnell erzeugt und verarbeitet werden. Stereokamerasysteme mit 5 MP Sensoren und variablen Baselines liefern die nötigen Ausgangsdaten, produzieren jedoch auch enorme Datenmengen. Dadurch können Schnittstellen und CPU-Leistung schnell zum limitierenden Nadelöhr werden.

Bildergalerie

Die Herausforderung also: Datenraten und Leistungsanforderungen an Systemkomponenten zu reduzieren, ohne dabei die Datenqualität einzuschränken. Gleichzeitig sollen die Systeme platzsparend und effizient arbeiten. Hier kommen Embedded 3D-Kameras ins Spiel, wie die Ensenso XR-Serie mit integrierter Datenverarbeitung.

Aufwendige Prozessschritte zur Berechnung der 3D-Daten

Bei Machine Vision-Anwendungen mit 3D-Kameras, die nach dem Prinzip des räumlichen Sehens (Stereo Vision) arbeiten, werden Kamerabilder mit hoher Auflösung und Framerate verarbeitet, um Ergebnisdaten weiterführenden Prozessen schnellstmöglich zur Verfügung zu stellen. Die Berechnung der dreidimensionalen Daten, sogenannte „Punktwolken“, aus dem Bildmaterial der Stereokameras erfordert mehrere aufwendige Prozessschritte, die bisher leistungsstarke IPCs übernehmen.

Mit steigenden Anforderungen an Qualität und Geschwindigkeit dieser Ergebnisdaten verwenden 3D-Stereokameras, wie die X-Serie, hochauflösende 2D-Kameras mit Gigabit-Ethernet-Schnittstelle. Doch die Übertragung der 2D-Ausgangsdaten zum verarbeitenden IPC erfordert eine bestmögliche Auslastung der Netzwerkbandbreite, um Zeitverzug oder Datenverlust zu vermeiden. Abgesehen davon muss die Verarbeitungsleistung der IPC-Hardware stetig mitwachsen, um das Gesamtsystem nicht einzuschränken.

Durch Einsatz hochwertiger Komponenten lässt sich die Performance solcher 3D-Kamerasysteme weiter steigern. Dank wechselbarer 2D-Kameras ist der flexible Aufbau der X-Serie nicht an bestimmte Datenschnittstellen und Sensorauflösungen gebunden und kann mit den Bedürfnissen an die Geschwindigkeit, Objektgrößen und Qualität weiter wachsen. Doch hochauflösende, schnelle GigE Kameras, speziell geschirmte Kabel, hochperformante Netzwerktechnik und leistungsstarke PC-Hardware sind für manche Anwendung schlichtweg zu hochpreisig. Außerdem muss für diese Peripherie ausreichend Platz zur Verfügung stehen.

Mit der neuen XR-Kameraserie verfolgt Ensenso einen anderen Ansatz. Nach dem Prinzip des IoT hat jede einzelne Komponente in einem „verteilten System“ eine bestimmte Aufgabe und erzeugt Ergebnisse, die von anderen Systemen direkt weiterverwendet werden. Im Fall einer 3D-Kamera sind das dreidimensionale Koordinaten von Bildpunkten eines realen Objekts.

Onboard 3D-Verarbeitung

Durch ein in der Ensenso XR-Projektoreinheit integriertes SoC (System-on-Chip) führt die Kamera die 3D-Prozesse inklusive der Stereoanalyse selbst aus. Nach Korrektur der Linsenverzerrung werden die 2D-Ausgangsbilder durch eine virtuelle Drehung der Kameras in ein achsparalleles Stereosystem überführt (Rektifikation), wodurch alle nachfolgenden Analysen leichter werden.

Die optimierten Matching-Algorithmen für stehende bzw. bewegte Szenen durchsuchen anschließend die aufgenommenen Bildpaare nach korrespondierenden Bildpunkten. Für diese ergeben sich wegen unterschiedlicher Kamera-Perspektiven auch unterschiedliche horizontale Verschiebungen in der Bildebene, die man als „Disparität“ bezeichnet. Durch die geometrischen Beziehungen im parallelen Stereosystem stellt diese Disparität nach Anwendung von Strahlensätzen und dem Wissen über bekannte Systemparameter, wie Brennweiten, Pixelgrößen und die Basislänge des Stereosystems, ein Maß für die Raumtiefe eines 3D-Punktes in Millimeter dar.

Diese zeit- und rechenintensiven Pixeloperationen führt parallelisiert ein unterstützendes FPGA in der Kamera aus. Damit ist eine 3D-Datenrate realisierbar, die vergleichbar ist mit der eines Ensenso X-Systems, das die Stereoanalyse auf einem Desktop PC mit Intel Core i7 Quad-CPU ausführt. „Durch die Kombination von integrierter Datenverarbeitung mit Flex View 2-Technik gehen eine genaue und schnelle Erfassung von Bilddetails Hand in Hand“, erklärt Martin Hennemann, Produktmanager und Spezialist für 3D-Bildverarbeitung bei IDS.

Vorteil „Embedded“ für Ergebnisrate und Bandbreitenreduzierung

In Verbindung mit der Flex View 2-Technologie sind Modelle der XR36-Serie in der Lage, bis zu 16 schnell aufeinanderfolgende Bildaufnahmen für den 3D-Datensatz einer stehenden Szene zu verarbeiten, ohne dass es zu einem zusätzlichen Zeitverzug durch die Übertragung der Rohdaten zum Host-PC kommt. Mit der Verschiebung des Projektormusters durch Flex View 2 ergeben sich mit jedem Bildpaar andere 3D-Punkte, die zu einer hochauflösenden 3D-Darstellung beitragen.

Durch die Verlagerung der rechenintensiven Prozesse in die Kamera müssen diese nicht mehr von IPCs durchgeführt werden. Zudem reduziert die Übertragung von 3D-Ergebnisdaten anstelle der hochauflösenden 2D-Rohdaten die Netzwerklast. Mit schnellem, direktem Speicherzugriff zwischen Bildaufnahme und Verarbeitung ergeben sich in diesem Anwendungsfall für hochauflösende 3D-Daten enorme Vorteile in der Ergebnisrate und Bandbreitenreduzierung gegenüber der externen Verarbeitung auf einem IPC.

Gerade Mehrkamerasysteme profitieren von den ressourcensparenden Eigenschaften der XR-Serie. Müssen Rohdaten von mehreren hochauflösenden 2D-Kameras über das Netzwerk transportiert werden, kommt es schnell zu Bandbreitenengpässen und damit zu Framerateneinbrüchen, die sich negativ auf die Gesamtperformance auswirken. Hier punktet die frühzeitige Auswertung und gleichzeitige Datenreduzierung der XR-Serie mit stabilen Ergebnisraten, weniger Rechenleistung der Peripherie-Komponenten und damit auch geringerem Platzbedarf. Eine 3D-Applikation lässt sich so wesentlich einfacher auf die benötigten Anforderungen skalieren.

Zur weiteren Reduzierung der Datenrate überträgt die Kamera nur die „Disparity Map". Das 16-Bit 1-Kanalbild ist wesentlich kleiner als eine vollständige Punktewolke, die mit Farboverlay als 32-Bit RDB-Bild zu Buche schlägt. Die einfache Konvertierung lässt sich ohne viel Rechenlast am IPC vom Ensenso SDK durchführen.

Aufbau einer 3D-Applikation vereinfacht

Die höhere Selbständigkeit der XR Stereokamera im Vergleich zu anderen 3D-Kameras wird damit nicht nur bezüglich der Geschwindigkeit zu einem wichtigen Auswahlkriterium für 3D-Anwendungen. Die reduzierten Leistungsanforderungen an Netzwerk-Peripherie und IPC-Hardware vereinfachen den gesamten Aufbau einer 3D-Applikation und senken die Kosten speziell in Mehrkamerasystemen.

Neben der kabelgebundenen Gigabit-Ethernet-Verbindung erlaubt eine zusätzliche WLAN-Schnittstelle den temporären Zugriff auf Daten und Parameter bei Einrichtung und Wartung, was bei schwieriger bzw. kostenintensiver Verkabelung nützlich ist. Zudem verfügt die Ensenso XR über ein integriertes Frontlicht. Im Einsatz unterstützt es bei der Kalibrierung der Arbeitsumgebung oder verbessert die Bildqualität der 2D-Kamerabilder, wenn das Umgebungslicht nicht ausreicht oder keine externe Beleuchtung verfügbar ist. Die zahlreichen Detailverbesserungen eröffnen der 3D-Kameratechnik neue Anwendungsfelder.

* Dipl. -Ing. Heiko Seitz, Technischer Redakteur, IDS Imaging Development Systems

(ID:46218004)