Roboterwahrnehmung DFKI-Forscher bringen Robotern das Sehen bei

Anbieter zum Thema

Metrofunk Kabel-Union GmbH

Micro-Epsilon Messtechnik GmbH & Co. KG

SAB Bröckskes GmbH & Co KG

Was für uns intuitiv mit dem Lernen der Sprache klappt, ist die Ermittlung von Bedeutung, unabhängig von der tatsächlichen sprachlichen Äußerung. Das sollen jetzt auch Roboter können.

Wie kann eine Maschine lernen, sich in unserer Lebenswelt visuell zu orientieren? Diese Frage wollen Wissenschaftler am Deutschen Forschungsinstitut für Künstliche Intelligenz (DFKI) beantworten, heißt es. Eine Antwort, wie man betont, heißt „MiKASA“ (Multi Key Anchor Scene Aware Transformer for 3D Visual Grounding). Denn er erlaube es, dass komplexe räumliche Abhängigkeiten und Merkmale von Objekten im dreidimensionalen Raum zu identifizieren und semantisch zu begreifen seien. Er soll Robotern und Maschinen schließlich zeigen, wie wir unsere Umwelt wahrnehmen können, um sie ähnlich begreifen zu lassen.

Wenn wir etwa ein großes, würfelförmiges Objekt in einer Küche wahrnehmen, können wir ganz natürlich annehmen, dass es sich dabei womöglich um einen Geschirrspüler handelt, erklären die DFKI-Experten. Erkennen wir eine vergleichbare Form in einem Badezimmer, ist die Annahme, dass es sich um eine Waschmaschine handelt, aber plausibler. Bedeutung ist für uns also kontextabhängig. Dieser Zusammenhang ist für ein nuanciertes Verständnis unserer Umgebung unerlässlich, heißt es weiter. Durch einen sogenannten „szenenbewussten Objekterkenner“ könnten nun auch Maschinen Rückschlüsse aus der Umgebung eines Referenzobjekts ziehen. Dann könnten sie das betreffende Objekt auch zielsicherer erkennen und korrekt definieren. Eine weitere Herausforderung für Programme ist es aber, relative räumliche Abhängigkeiten zu verstehen. „Der Stuhl vor dem blauen Monitor“ ist schließlich mit einer anderen Perspektive verwoben als „der Stuhl hinter dem Monitor“. Damit der Maschine klar wird, dass es sich bei beiden Stühlen tatsächlich um ein und dasselbe Objekt handelt, arbeitet „MiKASA“ mit einem sogenannten „multi key anchor concept“. Das übermittelt die Koordinaten von Ankerpunkten im Blickfeld, was in Relation zum Zielobjekt geschieht, wie die Forscher erklären. Dann bewertet das System die Wichtigkeit von nahen Objekten anhand von Textbeschreibungen.

Roboter erkennen Objekte so genau wie noch nie

So können semantische Rückbezüge helfen, das Objekt zu lokalisieren. Ein Stuhl ist typischerweise in Richtung eines Tisches platziert oder er steht an einer Wand, präzisieren die Experten. Die Anwesenheit eines Tisches oder einer Wand definiere also indirekt die Ausrichtung des Stuhls. Durch die Verknüpfung von Sprachmodellen, gelernter Semantik und der Wiedererkennung der Objekte im realen dreidimensionalen Raum erzielt „MiKASA“, wie betotn wird, aber eine Genauigkeit von bis zu 78,6 Prozent (Sr3D Challenge). Damit konnte die Trefferquote zur Objekterfassung um rund 10 Prozent im Vergleich zu der besten bisherigen Technik in diesem Bereich gesteigert werden!

Bevor ein Programm damit beginnen kann, seine Umgebung zu verstehen, muss es sie zunächst wahrnehmen können. Dafür liefern unzählige Sensoren ihre Daten und diese werden dann zu einem Gesamteindruck zusammengeführt, erklärt das DFKI. Den nutzt dann etwa ein Roboter, um sich im Raum zu orientieren. Das Problem ist aber, dass, wie auch beim menschlichen Auge, es Überlappungen der visuellen Informationen gibt. Um das zu begreifen und aus der Vielzahl von Daten ein stimmiges Bild zu generieren, wurde am DFKI das „SG-PGM“ entwickelt (Partial Graph Matching Network with Semantic Geometric Fusion for 3D Scene Graph Alignment and its Downstream Tasks). Die Ausrichtung zwischen sogenannten dreidimensionalen Szenenvisualisierungen (3D scene graphs), schaffe dabei die Grundlage für viele Anwendungen. So unterstützt sie etwa bei der „Punktwolkenregistrierung“ (point cloud registraton) und hilft Robotern, korrekt zu navigieren. Damit das auch in dynamischen Umgebungen mit etwaigen Störquellen gelingt, verknüpft „SG-PGM“ die Visualisierungen mit einem neuronalen Netzwerk. Das Programm verwertet dabei wieder die geometrischen Elemente, welche durch die point cloud registration erlernt wurden und assoziiert die gruppierten geometrischen Punktdaten mit den semantischen Merkmalen auf Knotenebene, wie es dazu heißt.

Ein Programm erkennt Objekte anhand ihrer Bedeutung

Im Grunde genommen werde also einer bestimmten Gruppierung von Punkten eine Semantik zugewiesen (Beispielsweise die Bedeutung: „blauer Stuhl vor dem Monitor“). Dieselbe Gruppierung kann dann auch in einem anderen Graph wiedererkannt und somit sie Szene lediglich um die nicht wiederkehrenden Elemente erweitert werden. „SG-PGM“ ist somit in der Lage, mit nie dagewesener Genauigkeit etwaige Überlappungen in einer Szene zu identifizieren und mit den vielen Sensoren ein möglichst exaktes Gesamtbild zu ermitteln. Das heißt, dass Roboter sich dann im dreidimensionalen Raum besser zurechtfinden und Objekte präzise lokalisieren können. Diesen Fortschritt haben die Veranstalter der CVPR (Conference on Computer Vision and Pattern Recognition) in Seattle übrigens mit einer Platzierung honoriert. Mit insgesamt sechs unterschiedlichen Abhandlungen will das DFKI-Team nun unter anderem dort Technologien präsentieren, welche Objekte im dreidimensionalen Raum anhand variabler sprachlicher Beschreibungen identifizieren und die Umgebung ganzheitlich mit Sensoren erfassen und abbilden können.

(ID:49976738)