Industrie- und Servicerobotik

Mit Bildverarbeitung schauen Roboter genau hin

| Autor / Redakteur: Richard Bormann, Dr.-Ing. Werner Kraus* / Ines Stotz

Anhand der von 3D-Sensoren erzeugten Punktwolken erkennt die Software bp3 für den Griff-in-die-Kiste zu greifende Werkstücke.
Anhand der von 3D-Sensoren erzeugten Punktwolken erkennt die Software bp3 für den Griff-in-die-Kiste zu greifende Werkstücke. (Bild: Fraunhofer IPA)

Firmen zum Thema

Bildverarbeitung verleiht Robotern kognitive, also wahrnehmende, Funktionen, sodass sie in der Produktion verlässlich auch mit unvorhergesehenen Situationen umgehen können. Zugleich ist sie Grundlage dafür, dass Serviceroboter Objekte oder Menschen zuverlässig erkennen können. Am Fraunhofer IPA bringt man Robotern dieses intelligente ‚Sehen‘ bei.

Industrieroboter nutzen bisher noch vergleichsweise selten Sensoren zur Bildverarbeitung. Nach Schätzungen von Experten gehören hierzu aktuell rund ein Fünftel der Systeme. Diese Zahl dürfte jedoch zeitnah steigen. Zum einen eröffnen Sensoren Robotersystemen ganz neue Möglichkeiten, um die steigenden Anforderungen an Produktionen hinsichtlich Flexibilität und Wandlungsfähigkeit bei gleichzeitiger Wirtschaftlichkeit erfüllen zu können. Zum anderen sinken die Komponentenkosten stetig. Nicht zuletzt ist die Bildverarbeitung eine Kernkomponente des maschinellen Lernens (ML), das zunehmend an Bedeutung gewinnt: sei es beispielsweise zur eigenständigen Objekterkennung – ggf. sogar in Kombination mit einem automatisierten Einlernen der dazu benötigten Objektmodelle –, zur Erkennung von Anomalien in der Qualitätsprüfung oder zur vollständigen dreidimensionalen Modellierung der Fabrik, indem zusammengehörige Oberflächen segmentiert und geometrische Formen klassifiziert werden sollen. Letzteres ist bspw. für die Navigation mobiler Systeme erforderlich.

Die Objekterkennung ist eine besonders vielseitig einsetzbare Funktion der Bildverarbeitung. Experten des Fraunhofer-Instituts für Produktionstechnik und Automatisierung IPA setzen bereits vielfach bildverarbeitende Sensoren und eigens entwickelte Algorithmen zur Verarbeitung der Daten sowohl für Industrie- als auch für Serviceroboter ein und entwickeln Anwendungen für die Praxis.

Verfahren zur Objekterkennung und -lageschätzung

Beim erstmaligen Einlernen von Objekten werden einzelne Aufnahmen von allen Seiten zu einem konsistenten 3D-Objektmodell zusammengeführt. Bei der Wiedererkennung im operativen Betrieb werden die in den Einzelbilddaten gefundenen lokalen Objektmerkmale mit den Objektmodellen abgeglichen. Dadurch ist die robuste Wiedererkennung von Objekten auch bei wechselnden Lichtverhältnissen oder partieller Verdeckung möglich. Beispielsweise kann ein markanter Schriftzug mit seinen spezifischen Merkmalspunkten ausreichen, um diesen dem dazugehörigen Objekt zuzuordnen. Das Wiedererkennen braucht nicht mehr als eine Sekunde.

Als lokale Merkmale zur Objektmodellierung und -wiedererkennung kommen um Farbinformationen ergänzte SURF-Merkmale („Speeded up robust feature“) zum Einsatz. Durch die Verwendung von Merkmalen, die sowohl lokale Texturcharakteristika als auch Farbe repräsentieren, und deren Akkumulation in einem 3D-Oberflächenmodell des Objektes ist es möglich, auch ähnlich geformte oder ähnlich bedruckte Gegenstände voneinander zu unterscheiden. 3D-Sensoren erlauben einen genaueren Modellabgleich mit einer vorhandenen Objektmodelldatenbank als gewöhnliche Farbkameras, denn sie erfassen auch die 3D-Position und Orientierung der Merkmale und Objekte. So können die Objektlage im Raum sicher bestimmt und Mehrdeutigkeiten vermieden werden. Auch das automatisierte Aufnehmen oder Ablegen mit Roboterarm und Greifhand ist möglich.

Ein zentraler Mehrwert der vorgestellten Lösung: Sie ermöglicht eine freie Erkennung beliebiger Objekte auch bei großen Sortimenten, weil neue Objekte schnell einlernbar sind. Eine andere Möglichkeit ist die Objekterkennung anhand von eingelernten CAD-Daten. Hierfür erzeugen 3D-Sensoren eine Punktwolke der zu erkennenden Objekte und gleichen diese mit den CAD-Daten der Objekte ab.

Klassifizierung von Objekten

Neben dem Modellieren und Wiedererkennen von Objekten ist die Objektklassifizierung eine wichtige komplementäre Technologie, die für das Verständnis bisher nicht modellierter Gegenstände eingesetzt werden kann. Das Klassifizierungssystem kennt nur Kategorienmodelle von Objekten und kann damit bspw. vormals nie gesehene Dosen oder Flaschen der entsprechenden Kategorie zuordnen. Hierfür erfasst das Robotersystem u.a. geometrische Basisformen mittels 3D-Sensoren oder auffällige Texturmuster aus Farbbildern. Die Objektklassifizierungs-Software kann bspw. aus den Daten einer 3D-Punktwolke die Information „drei senkrechte, rechteckige Ebenen“ extrahieren und schließen, dass es sich um ein Paket handelt, unabhängig davon, ob genau dieses Paket in den jeweiligen Abmessungen jemals zuvor gesehen wurde. Auch auf den Objekten aufgedruckte Aufschriften können gelesen und zur Klassenbestimmung des Objektes herangezogen werden.

Inhalt des Artikels:

Kommentare werden geladen....

Kommentar zu diesem Artikel abgeben

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 44790594 / Bildverarbeitung)