Rückfahrkameras Bildverarbeitung auf engstem Raum

Anbieter zum Thema

Die Sicht des Fahrers nach hinten ändert sich: Ultraschall-Sensoren werden durch Kamerasysteme ergänzt, die mögliche Hindernisse erkennen. Welche Komponenten und Tools werden dafür benötigt?

„Rückfahrkameras sorgen für weniger Verletzte und weniger Todesfälle - kleine Kinder profitieren besonders davon.“ Klaus Neuenhüskes, Toshiba Electronics Europe
„Rückfahrkameras sorgen für weniger Verletzte und weniger Todesfälle - kleine Kinder profitieren besonders davon.“ Klaus Neuenhüskes, Toshiba Electronics Europe
(Bild: Toshiba)

Fahrzeuge werden immer intelligenter und ADAS (Advanced Driver Assistance Systems) unterstützen den Fahrer zunehmend. Dabei kommen mehr und mehr Kamerasysteme zum Einsatz. Neueste kamerabasierte Fahrerassistenzsysteme im Innenraum überwachen den Fahrer auf Müdigkeit und Ablenkung vom Verkehrsgeschehen. Außenseitig montierte Kameras liefern eine 360° Rundumansicht, welche beim Manövrieren auf engstem Raum oder beim Einparken in überfüllten Städten sich als willkommener Vorteil erweisen.

Laut der US National Highway Traffic Safety Administration (NHTSA) sorgen Rückfahrkameras für weniger Verletzte und weniger Todesfälle – gerade bei Kindern. Mehrere hundert Menschen werden jedes Jahr getötet und Tausende verletzt, weil Fahrer beim Rückwärtsfahren Fußgänger leicht übersehen. Die überwiegende Mehrheit der Opfer sind Kinder, vor allem weil sie aufgrund ihrer geringen Größe und unvorhersehbaren Bewegung schlecht vom Fahrersitz aus zu erkennen und einzuschätzen sind.

Bildergalerie
Bildergalerie mit 7 Bildern

Die Technik für eine bessere Sicht nach hinten ändert sich: Ultraschall-Sensoren werden durch Kamerasysteme ergänzt – und deren Rückfahrbilder durch intelligente Systeme erweitert, die mögliche Hindernisse erkennen. Im folgenden Beitrag geht Toshiba Electronics Europe (TEE) näher auf die Anforderungen dieser Systeme ein. Zudem wird die neueste Technologie beschrieben, mit der sich die notwendige Miniaturisierung und Bildverarbeitung umsetzen lässt.

Gesetzliche Vorgaben für Rückfahrkameras

Dass Rückfahrkameras erheblich zur Unfallvermeidung beitragen, ist dem US-Kongress seit 2007 bekannt. Im Zuge dessen hat die NHTSA im Jahr 2014 eine Vorschrift erlassen, dass Fahrzeughersteller ab Mai 2018 bei allen Fahrzeugen unter 4,535 Tonnen eine Rückfahrkamera einbauen müssen. Diese muss eine Beobachtungsfläche von 3m x 6m hinter dem Fahrzeug abdecken.

Die Fahrzeughersteller wurden bereits vor Inkrafttreten dieser Regelung aktiv. Schon heute sind zahlreiche Neufahrzeuge mit einer solchen Kamera ausgestattet. Vorhersagen gehen davon aus, dass bis zum Jahr 2018 etwa 75% der Neufahrzeuge mit einer Rückfahrkamera ausgestattet sein werden.

Die Herausforderung liegt im qualitativen Erkennen und Warnen vor Hindernissen. Dieses fällt in zwei Hauptkategorien: die Detektion stationärer oder beweglicher Objekte und die Klassifizierung derer, z. B. als Fußgänger oder Radfahrer. Beide erfordern eine intelligente Verarbeitung der Kameradaten in Echtzeit – unabhängig davon, ob das Fahrzeug steht oder fährt.

Dabei muss der Kostenaspekt stets Berücksichtigung finden. Ist ein geeigneter Infotainment-Bildschirm vorhanden, werden die Zusatzkosten für eine Rückfahrkamera geringer ausfallen (ca. 40 US-$); für Kleinwagen und Einstiegsmodelle, die sowohl eine Kamera als auch einen Bildschirm benötigen werden ca. 140 US-$ veranschlagt. Um diesen Preis zu erzielen, stehen Automobil-Entwickler und die Hersteller der Kamerasysteme unter erheblichen Druck, da sie eine kostengünstige und leistungsfähige Lösung bereitstellen müssen.

In Zukunft müssen selbst einfache Systeme der Gesetzgebung entsprechen, wie z. B. das Anzeigen von Bildern der Rückfahrkamera im Fahrzeuginneren binnen zwei Sekunden nach Einlegen des Rückwärtsgangs. Viele der derzeitigen Rückfahrkamera-Systeme sind bereits sehr ausgereift und enthalten ein Verarbeitungsmodul, das ein grafisch ansprechendes Overlay aus Einpark-Manövrierlinien und Hindernismarkierungen erzeugt. Wobei die Informationen für die Hinderniserkennung derzeit von vorhandenen Ultraschallsensoren stammen.

Die Herausforderung besteht nun darin, die Objekterkennung durch eine bildbasierte Verarbeitung zu verbessern und innerhalb des zur Verfügung stehenden Bauraumes eines Kameramoduls mit unterzubringen. Das neue Modul darf zudem nicht größer als derzeitige Kameramodule sein – und muss natürlich hermetisch gegen eindringende Feuchtigkeit abgesichert sein.

Für die Zulieferer steigen damit die Anforderungen, da sie zwischen Rechenleistung und Verlustleistung abwägen müssen. Dabei gilt es zu berücksichtigen, dass üblicherweise CMOS-Bildsensoren bei Temperaturen >85 °C ein erhöhtes Rauschverhalten aufweisen, welches neben der zur Anzeige gebrachten beeinträchtigten Bildqualität auch zu Einschränkungen bei der Objekterkennung führt.

Dedizierte Bildverarbeitung: Toshiba hat seit der Einführung des ersten Bilderkennungsprozessors im Jahr 2004 ein dediziertes Line-up

entwickelt. Der daraus stammende TMPV7502 im 11 x 11 mm LFBGA324 eignet sich vor allem für ADAS-Anwendungen, bei denen der zur Verfügung stehende Bauraum eingeschränkt ist.

Jetzt Newsletter abonnieren

Verpassen Sie nicht unsere besten Inhalte

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung.

Aufklappen für Details zu Ihrer Einwilligung

Der RISC-basierte Prozessor besteht aus drei Cores, RAM und insgesamt sechs Hardware-basierten Beschleunigern, um eine leistungsfähige Objekterkennung bei geringer Stromaufnahme zu gewährleisten. Die hohe Leistungsfähigkeit bei einer geringen Verlustleistung (<1 W) wird durch eine parallel arbeitende Architektur, anstelle einer seriellen Verarbeitung mit hoher Taktfrequenz erzielt. Zusammen mit der integrierten CAN-Bus-Schnittstelle wird der TMPV7502 als Einzel-Controllersystem innerhalb eines Rückfahrkamera-Moduls verwendet.

Kamera-Referenzdesign mit einem einzigen Modul

Um die Leistungsfähigkeit des TMPV7502 zu zeigen und die Entwicklungsarbeit zu vereinfachen, hat TEE ein Referenzdesign für ein Rückfahrkamera-System entwickelt.

Das System besteht aus zwei Hauptelementen: der Rückfahrkamera samt Rechner-Hardware und einer Anzeigeeinheit, über die Entwickler das System testen können. Der Kamerateil des Referenzsystems basiert auf vier gefaltete flexible Leiterplatten, die einen geringen Bauraum einnehmen.

Das Referenzdesign ist kompatibel zu CMOS-Sensoren verschiedener Hersteller. Entwickler können somit einen Sensor wählen, der ihren Applikationsanforderungen entspricht. Der Imager ist auf dem ersten Board zusammen mit dem zugehörigen EEPROM montiert. Auf dem zweiten Board befinden sich der TMPV7502 und der notwendige Arbeitsspeicher.

Auf dem dritten Board ist der Flash-Speicher zusammen mit DIP-Schaltern untergebracht, mit denen die Boot-Optionen definiert werden. Hinzu kommt ein manueller Reset-Schalter, der das Debugging unterstützt. Das letzte Board stellt die Kommunikation mit dem Empfänger-Board bereit, die über eine FPD-Link III Schnittstelle und einen HSD-Stecker realisiert ist. Dieses Board bietet auch eine micro-USB-Schnittstelle für den direkten Anschluss des Kamerasystems, u.a. für Software-Entwicklung, Überwachung und Debugging.

Der zweite Teil des Referenzdesigns ist das doppelseitig bestückte Empfänger-Board. In einem Serienfahrzeug ist diese Funktion in dem zentralen Infotainment-System integriert. Im Referenzdesign bietet sie eine einfache Möglichkeit zur Entwicklung und Evaluierung des Rückfahrkamera-Systems.

Auf dem Empfänger-Board befindet sich der FPD-Link III Deserializer. Eine LVDS-Schnittstelle und Stiftleiste (Bare Header) ermöglichen den Anschluss des Referenzdesigns an andere Systeme für weitere Signalverarbeitungs- und Zusatzfunktionen. Auch der direkte Anschluss eines DVI-Monitors ist möglich, um visuellen Zugriff auf die Daten des Bildverarbeitungsprozessors zu erhalten.

Bildverarbeitung, Software und Kalibrierung

Rückfahrkameras verwenden Fisheye-Objektive, die ein Sichtfeld von 180° ermöglichen, um alle Fußgänger oder Objekte zu erfassen, die sich hinter dem Fahrzeug befinden. Der breite Winkel sorgt für eine extreme Bildverzerrung, die korrigiert werden muss, um ein ansprechendes Bild zu erhalten und um eine korrekte Verarbeitung der Informationen für die Objekterkennung zu gewährleisten. Die automatische Software-Kalibrierung stellt sicher, dass alle vertikalen Objekte auch tatsächlich vertikal dargestellt werden.

Im TMPV7502 Prozessor ist Toshibas CoHOG-Hardware-Beschleuniger (Co-occurrence Histograms of Oriented Gradients) implementiert, der zur Klassifizierung von Objekten wie Fußgängern eingesetzt wird. Weitere Beschleuniger auf dem Chip unterstützen Computervision Algorithmen mit z. B. effizienten Kanten- und Kreisformations-Detektionen für die Erkennung der äußeren Objektgrenzen vermeintlicher Hindernisse. Durch die Ausführung dieser Berechnungen innerhalb des Kameramoduls wird die zentrale Infotainment-Einheit entlastet.

Das Referenzdesign-Toolkit ist mit dem Low-Level-Treiber und der sl_lib ausgestattet, die mit den Beschleunigern im TMPV7502 interagieren. Die Middleware ist ebenfalls enthalten. Kunden können somit ihre eigenen anwendungsspezifischen Anwendungen oberhalb dieses Stacks entwickeln.

Dieser Beitrag ist zuerst auf unsere Schwesternportal der ELEKTRONIKPRAXIS erschienen.

* Klaus Neuenhüskes ist Senior Manager Product Marketing der Automotive Business Unit bei Toshiba Electronics Europe.

(ID:44473466)