Bildverarbeitung Mit Deep Learning die Inspektion automatisieren

Anbieter zum Thema

MVTec Software GmbH

Micro-Epsilon Messtechnik GmbH & Co. KG

TURCK GmbH

FAULHABER Antriebssysteme

Bildverarbeitung beschleunigt Prozesse: Ein japanisches Unternehmen automatisiert für einen sicheren Straßenverkehr im Winter mit MVTec Halcon die Inspektion von Reifen im laufenden Verkehr. Dank Deep-Learning-Technologien kann die Bereifung beispielsweise in Sommer- und Winterräder klassifiziert werden.

In der japanischen Region Shikoku zeichnet das Unternehmen West Nippon Expressway Engineering Shikoku Company Limited (Nexco) für die komplette Instandhaltung des Straßennetzes inklusive Durchführung von Inspektionen, Wartungs- und Reparaturarbeiten verantwortlich. Ziel ist es, die Sicherheit, Schnelligkeit, Pünktlichkeit und Zuverlässigkeit im Straßenverkehr unter Einhaltung neuester Umweltstandards zu gewährleisten. Dies unterstützt die gesamte Infrastruktur in der Region und sorgt für ein maximale Mobilität zugunsten der Bevölkerung.

Reifeninspektion im laufenden Verkehr

Um auch in den Wintermonaten und insbesondere in Bergregionen ein Höchstmaß an Sicherheit zu garantieren, müssen die Fahrzeuge kontinuierlich auf ihre Verkehrstauglichkeit überprüft werden. Dazu zählt auch die regelmäßige Inspektion der Bereifung. Nexco führt diese im laufenden Verkehr am Rande von Autobahnen und Bergstraßen durch. Dabei wird geprüft, ob die Autos bei Schneefall oder Eisglätte über Winterreifen mit einer ausreichenden Profiltiefe verfügen. Bisher übernahmen Mitarbeiter diese Aufgabe und kontrollierten jeden einzelnen Reifen manuell, was einen enormen Aufwand nach sich zog.

Falsche Klassifizierungen auf Null reduzieren

Um die Zahl der Mitarbeiter zu reduzieren, Wartezeiten zu verkürzen und die Gesamteffizienz des Prozesses zu erhöhen, sollte die Reifenprüfung mithilfe von industrieller Bildverarbeitung (Machine Vision) automatisiert werden. „Unser Ziel war es, die Präzision bei der Unterscheidung von Winter- und Normalreifen zu erhöhen und dabei fehlerhafte Klassifizierungen auf Null zu reduzieren. Außerdem würde sich mit Machine Vision die Zahl der Kontrolleuere deutlich reduzieren, die in der unwirtlichen Wetterbedingungen die Reifenkontrollen vornehmen müssen“, erklärt Shogo Hayashi, Mitglied der Engineering Division bei Nexco. „Würden Normalreifen fälschlicherweise als Winterreifen klassifiziert, führte dies zu einer signifikanten Zunahme von Gefahrensituationen und Unfällen auf schneebedeckten Straßen. Nur durch eine verlässliche Unterscheidung beider Reifentypen lässt sich eine höchstmögliche Sicherheit im winterlichen Straßenverkehr gewährleisten“, ergänzt Hayashi.

Präzise Identifikation des jeweiligen Reifentyps

Um diese hohen Anforderungen bei der automatisierten Reifenkontrolle umzusetzen, arbeiten die Experten mit einem technischen Setup, an dem die zu prüfenden Fahrzeuge mit einer Geschwindigkeit von etwa 30 km/h vorbeifahren. Der Aufbau besteht aus hochauflösenden Kameras, LED-Beleuchtungssystemen, Tablet-PCs sowie Monitoren zur Visualisierung der Prüfergebnisse. Dabei müssen sämtliche Hardware-Komponenten den Witterungseinflüssen direkt am Straßenrand standhalten und auch unter rauen winterlichen Bedingungen einen stabilen Betrieb gewährleisten. Die in das System integrierte Bildverarbeitungssoftware MVTec Halcon sorgt für die präzise Identifikation des jeweiligen Reifentyps. Bei Halcon handelt es sich um die umfassende Standardsoftware für die industrielle Bildverarbeitung, welche von der MVTec Software GmbH aus Deutschland entwickelt wird.

Regelbasierter Algorithmus stieß an Grenzen

Der Systemaufbau muss jedoch einigen Herausforderungen genügen: So gibt es je nach Fahrzeugart – ob Pkw, Lkw, Transporter oder Bus – viele verschiedene Reifentypen, die erkannt und geprüft werden müssen. Darüber hinaus sind die Licht- und Sichtverhältnisse in der winterlichen Umgebung starken Schwankungen unterworfen. Die Entwicklung eines regelbasierten Algorithmus, der mit diesen anspruchsvollen Bedingungen zurechtkommt, erwies sich als äußerst schwierig. Eine weitere Herausforderung: Um die Genauigkeit bei der Erkennung zu verbessern, müssen fehlerhafte Klassifizierungen vermieden werden. Das bedeutet, normale Reifen dürfen nicht als Winterreifen eingestuft werden. Daher haben die Techniker bei NEXCO Klassen definiert und hinzugefügt, um auch Reifen, die aufgrund von Spritzern oder Schneeanhaftungen nicht eindeutig als Winter- oder Sommerreifen erkannt werden können, zu identifizieren.

Simulation

Antriebskonstellationen virtuell entwickeln

In Testreihen, die auf logistischer Regression basieren, wurde eine hohe Quote an herkömmlichen Reifen fälschlicherweise als Winterreifen identifiziert. Dieses Ergebnis war nicht zufriedenstellend und hat gezeigt, dass regelbasierte Algorithmen unter den gegebenen Bedingungen nicht zielführend sind. Um robustere Erkennungsresultate bei der Reifeninspektion zu erzielen und falsche Klassifizierungen auf ein Minimum zu reduzieren, setzt Nexco auf die Machine-Vision-Standardsoftware MVTec Halcon. Die darin integrierten Deep-Learning-Algorithmen wurden mit etwa 13.000 Reifenbildern trainiert, was die Präzision bei der Unterscheidung der Reifentypen signifikant verbessert hat. So ließ sich die Rate der normalen Reifen, die fälschlicherweise als Winterreifen erkannt wurden (falsch positive Ergebnisse), auf null reduzieren.

Robuste Erkennungsergebnisse dank Deep Learning

Das System auf Basis von MVTec Halcon wurde im Winter 2019 in den Regionen Fukuchiyama, Oita und Chiyoda eingeführt und hat im praktischen Einsatz zu sehr robusten Erkennungsergebnissen geführt. So wurden keinerlei Sommer- als Winterreifen klassifiziert, was die Verkehrssicherheit auf ein neues Niveau hebt. Dazu kommt: Reifen, die als nicht wintertauglich eingestuft werden, unterliegen laut den gesetzlichen Vorschriften in Japan einer manuellen Sichtprüfung. Dank der Leistungsfähigkeit der in Halcon integrierten Deep-Learning-Technologien konnte die Zahl der Fahrzeuge, die einer Sichtprüfung unterzogen werden müssen, auf ein Drittel reduziert werden. Dies spart in hohem Maße Zeit und Kosten ein. Darüber hinaus ließen sich durch die Automatisierung des Inspektionsprozesses lange Staus und Wartezeiten der Autofahrer reduzieren, was den Straßenverkehr im Ergebnis deutlich entlastet. Aufgrund der hervorragenden Resultate und zahlreichen Vorteile wurde das System im Winter 2020 an weiteren 18 Standorten in Betrieb genommen.

Bildverarbeitung

Die Lagerautomatisierung beschleunigen mit Standard-Logistiklösungen

Vielfältige Werkzeuge und Operatoren sorgen für hohe Performance

„MVTec Halcon adressiert optimal unsere Anforderungen an eine Bildverarbeitungslösung. Die Software verfügt über eine Vielzahl an durchdachten Machine-Vision-Werkzeugen und leistungsfähigen Operatoren. Obendrein ist sie sehr einfach zu bedienen – unsere Anwender benötigen hierfür keine speziellen Vorkenntnisse“, bestätigt Shogo Hayashi. Aufgrund der positiven Erfahrungen und der hohen Zufriedenheit plant Nexco bereits weitere Einsatzmöglichkeiten von MVTec Halcon: So sollen mithilfe der Bildverarbeitungssoftware in Zukunft auch Anwendungen für die Bewertung der Integrität von Straßenstrukturen entwickelt werden.