PatentDe  


Dokumentenidentifikation DE102006010295A1 13.09.2007
Titel Kamerasystem mit zumindest zwei Bildaufnehmern
Anmelder Conti Temic microelectronic GmbH, 90411 Nürnberg, DE;
ADC Automotive Distance Control Systems GmbH, 88131 Lindau, DE
Erfinder Lang, Christian, 83410 Laufen, DE;
Massen, Joachim, Dr., 81547 München, DE
DE-Anmeldedatum 07.03.2006
DE-Aktenzeichen 102006010295
Offenlegungstag 13.09.2007
Veröffentlichungstag im Patentblatt 13.09.2007
IPC-Hauptklasse H04N 13/02(2006.01)A, F, I, 20060307, B, H, DE
IPC-Nebenklasse H04N 5/247(2006.01)A, L, I, 20060307, B, H, DE   H04N 5/33(2006.01)A, L, I, 20060307, B, H, DE   
Zusammenfassung Es wird ein Kamerasystem mit zumindest zwei verschiedenartigen Bildaufnehmern vorgestellt. Die Ausnahmebereiche der Bildaufnehmer überlappen zumindest teilweise und die Daten der Bildaufnehmer werden zu einem 3-D-Bild zusammengefügt. In einer besonderen Ausgestaltung sind Bildaufnehmer vorgesehen, die in unterschiedlichen Spektralbereichen empfindlich sind.

Beschreibung[de]

Die Erfindung betrifft ein Kamerasystem mit mehreren Bildaufnehmern, wobei die Daten von zumindest zwei Bildaufnehmern zu einem Bild zusammengefügt werden.

Kamerabasierte Sensoren werden z. B. zur Erfassung der Fahrzeugumgebung und des Fahrzeuginnenraums eingesetzt. Die Informationen über relevante Objekte im und außerhalb des Fahrzeugs werden in Fahrerassistenz- und/oder Sicherheitssystemen in Fahrhilfen umgesetzt, die zur Verkehrssicherheit beitragen. Kameras, die im sichtbaren und/oder infraroten Spektralbereich empfindlich sind, werden in einem Kraftfahrzeug u. a zur Spurhaltung des Fahrzeugs, zur Objekterkennung und als Einparkhilfe genutzt. Eine erweiterte Applikation ist die Stereokamera, die ein dreidimensionales Bild erzeugt, so dass auch der Abstand von Objekten zum Fahrzeug bestimmt werden kann. Diese Funktion ist u. a. für eine Precrash-Anwendung von Vorteil, da sowohl der Abstand eines gefährlichen Objekts erkannt, als auch auf Größe, Geschwindigkeit und Form des Objekts, auf ein zukünftiges Verhalten des Objekts und die zu erwartende Unfallschwere geschlossen werden kann.

Besonderes Augenmerk gilt hier auch dem Fußgängerschutz. Mittels einer Wärmebildkamera können Fußgänger sicher erkannt werden. Vor einer Kollision können geeignete Schutzmassnahmen, wie z. B. das Öffnen der Motorhaube eingeleitet werden. Nachteilig an einer Wärmebildkamera ist, dass „kalte" Objekte wie Fahrbahnbelag oder Fahrbahnbegrenzung, Bäume etc. nur mit einem geringen Kontrast im Bild erkennbar sind.

Es ist daher Aufgabe der hier vorliegenden Erfindung, Umgebungsobjekte mit einem Kamerasystem sicher und kostengünstig zu analysieren.

Diese Aufgabe ist erfindungsgemäß gelöst durch ein Kamerasystem mit den in Anspruch 1 beschriebenen Merkmalen. Vorteilhafte Weiterbildungen sind den Unteransprüchen zu entnehmen.

Es wird ein Kamerasystem mit zumindest zwei verschiedenartigen Bildaufnehmern vorgestellt. Die Daten der Bildaufnehmer werden fusioniert und zu einem 3D-Bild zusammengefügt. Eine Ausführungsform der Erfindung ist ein CMOS-Bildaufnehmer kombiniert mit einem PMD-Bildaufnehmer, wobei PMD für Photomischdetektor steht. Bei dieser Vorrichtung sendet ein Sender ein moduliertes Lichtsignal aus. Das von Umgebungsobjekten reflektierte Licht trifft auf den PMD Bildaufnehmer, der ebenfalls an die Modulationsquelle gekoppelt ist. So werden die in Elektronen gewandelten Photonen in Abhängigkeit vom Referenzsignal mit Hilfe der so genannten Ladungsträgerschaukel entfernungsselektiv getrennt. Ähnliche Ausführungsbeispiele sind die Kombination von einem Mehrpixel-Lidar und eine 2D-Kamera oder von einem Bildaufnehmer mit SPAD-Technologie (SPAD: Single Photo Avalanche Dioden) und einem CMOS Bildaufnehmer. Die Beispiele können von einem Fachmann entsprechend fortgesetzt werden. Aus den fusionierten Bildaufnehmerdaten wird ein 3D-Bild generiert, aus dem der Abstand zu den Umgebungsobjekten bestimmt wird. Bei 2D-CMOS Sensoren wird z.B. ein Verfahren verwendet, das aus der Bewegung von Objekten in Bildfolgen Tiefeninformation, Bewegungsrichtung und auch die Geschwindigkeit der Bewegung aus Bildfolgen extrahiert. Es wird in zwei oder mehr aufeinander folgenden Bildern nach gleichen Bildregionen gesucht, wobei die Länge des Verschiebungsvektors ein Maß für die Entfernung der Bildregion darstellt. Die Zuverlässigkeit des 3D-Bildes wird durch die redundante Aufnahme des Objekts (z. B. Form, Größe, Farbe etc) erhöht. Die redundante Objektbewertung ist für sicherheitskritische Anwendungen, z. B. einer Precrash-Funktion im Kraftfahrzeug, notwendig. Weiter werden durch den Einsatz der verschiedenartigen Sensorik Objekte besser diskriminiert.

In einer weiteren Ausführungsform wird durch eine geeignete Wahl der Bildaufnehmer der Dynamikbereich des Systems erweitert. Z.B. sind PMD-Bildaufnehmer für höhere Remissionen von Umgebungsobjekten geeignet, während für geringe Remissionen die SPAD-Technologie bevorzugt eingesetzt wird. Somit ergibt sich durch die Kombination der Bildaufnehmer ein erweiterter Dynamikbereich.

In einer vorteilhaften Ausgestaltung der Erfindung sind zumindest zwei verschiedenartige Bildaufnehmer vorgesehen, die in unterschiedlichen Spektralbereichen empfindlich sind. Dieses Aufnahmeverfahren bietet den Vorteil, dass Objekte unter vorgegebenen Beleuchtungs- und Umgebungsbedingungen, die in einem ersten Spektralbereich nur sehr kontrastarm dargestellt werden, in einem zweiten Spektralbereich gut sichtbar d.h. kontrastreich abgebildet werden.

In einer besonderen Ausgestaltung der Erfindung weisen die Bildaufnehmer unterschiedliche Abbildungsbereiche auf. Für eine Stereoaufnahme ist es notwendig, dass die Abbildungsbereiche zumindest teilweise überlappen. Bei einer Anwendung im Kraftfahrzeug wird der Abbildungsbereich der Bildaufnehmer i. d. R. im Werk kalibriert, so dass die Position des Überlappungsbereichs in den aufgenommenen Bildern vorgegeben ist.

In einer vorteilhaften Ausgestaltung der Erfindung werden vorgegebene Bildmerkmale als Marken verwendet. Als Marken werden vorzugsweise Bildmerkmale verwendet, die sich deutlich von ihrer Umgebung absetzten, z.B. ein freistehender Gegenstand wie ein Baum, Verkehrszeichen etc. Die Marken werden in den Bildern identifiziert, die zu einem Stereobild beitragen. Die Bilder werden so zusammengefügt, dass gleiche Marken übereinander liegen.

Insbesondere wenn Marken in den Bilddaten eines der beiden Bilder nicht eindeutig identifiziert werden können, wird die Szene erneut mit einer veränderten Belichtungszeit und/oder Belichtungsstärke und/oder Auflösung aufgenommen, um die Marke(n) zu verifizieren.

In einer bevorzugten Ausgestaltung der Erfindung ist für die Abbildung des Überlappungsbereichs der verschiedenartigen Bildaufnehmer in jedem Bild eine ähnliche Pixelzahl vorgesehen. Insbesondere werden die Bilddaten der verschiedenartigen Bildaufnehmer zeitsynchron und/oder mit der gleichen Taktfrequenz ausgelesen. Alternativ können die Bilder mit einem Zeitstempel versehen werden und anhand dessen zu einem 3D-Bild zusammengefügt werden.

In einer vorteilhaften Ausgestaltung der Erfindung werden die Daten von zumindest einem der Bildaufnehmer getrennt analysiert. Besonders vorteilhaft ist es anhand dieser Daten Objekte zu erkennen und/oder ihr Verhalten zu prädizieren. Die so gewonnenen Informationen über Objekte werden anhand der Daten von verschiedenartigen Bildaufnehmern verglichen, um sie zu plausibilisieren. In einem weiteren Ausführungsbeispiel werden zunächst die Bilddaten der verschiedenartigen Bildaufnehmer fusioniert und anschließend wird eine Objekterkennung durchgeführt und/oder das Verhalten der Objekte prädiziert. Generell können dieselben Objekte in mehreren Bildaufnahmen erkannt und ihr Bewegungsverlauf in den Bildern verfolgt werden (Tracking). Das genannte Vorgehen ermöglicht eine Situationsanalyse der Umgebung.

Die Verwendung von Bildaufnehmern, die in verschiedenen Spektralbereichen aktiv sind, ist vorteilhaft, da Bildaufnehmer in unterschiedlichen Spektralbereichen unterschiedlich auf Umwelteinflüsse reagieren und somit das Gesamtsystem robuster gegenüber Witterungsbedingungen und Störungen ist. Eine vorteilhafte Ausgestaltung der Erfindung sieht vor, dass zumindest ein Bildaufnehmer im ferninfraroten Spektralbereich und ein Bildaufnehmer im sichtbaren und/oder nahinfraroten Spektralbereich empfindlich ist. In einem vorteilhaften Ausführungsbeispiel der Erfindung ist eine Fußgängererkennung vorgesehen. Dazu ist der Einsatz eines Wärmebildes vorteilhaft. Wird ein Fußgänger sicher erkannt, können entsprechende Schutzmaßnahmen bei einem Zusammenstoß, wie z.B. das Anheben der Motorhaube, ergriffen werden.

Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen und Abbildungen näher erläutert.

1: Schematische Darstellung eines Kamerasystems mit zwei verschiedenartigen Bildaufnehmern und der zugehörigen Bilddatenverarbeitung

2: Darstellung eines Kraftfahrzeugs mit einem Kamerasystem mit symmetrischer Ausrichtung der Erfassungsbereiche

3: Darstellung eines Kraftfahrzeugs mit einem Kamerasystem mit asymmetrischer Ausrichtung der Erfassungsbereiche

In einem ersten Ausführungsbeispiel ist als Bildaufnehmer 1 (s. a. 1) ein SPAD CMOS Bildaufnehmer vorgesehen. Der Bildaufnehmer wird in einem 0,8&mgr;m CMOS Prozess gefertigt und basiert auf „Single Photo Avalanche Dioden" (SPAD). Derzeit beträgt die Auflösung eines solchen Bildaufnehmers 32×32 Pixel. Ein großer Vorteil dieser SPAD-Struktur ist ihre große Empfindlichkeit. Um Entfernungswerte zu erhalten wird ein kurzer Lichtimpuls ausgesandt, der von Objekten in der aufzunehmenden Szene reflektiert und anschließend vom SPAD-Bildaufnehmer detektiert wird. Dabei wird die Laufzeit des reflektierten Lichtimpulses aufgenommen. Die Entfernung des Objekts ergibt sich aus der Laufzeit des Lichtimpulses. Als Bildaufnehmer 2 (s. a. 1) ist ein CMOS Bildaufnehmer vorgesehen. Zur Auswertung der CMOS Bilddaten kommt ein Verfahren zum Einsatz, das aus der Bewegung von Objekten in Bildfolgen Tiefeninformation, Bewegungsrichtung und auch die Geschwindigkeit der Bewegung aus Bildfolgen extrahiert. Es wird in zwei oder mehr aufeinander folgenden Bildern nach gleichen Bildregionen gesucht, wobei die Länge des Verschiebungsvektors ein Maß für die Entfernung der Bildregion darstellt. Aus den Bildaufnehmerdaten kann nun ein 3D-Bild generiert werden. Die Zuverlässigkeit des 3D-Bildes wird durch die redundante Aufnahme erhöht, da sowohl die Objekte als auch die Abstandsinformation doppelt aufgezeichnet wurden. Diese Redundanz ist insbesondere für sicherheitskritische Anwendungen, z. B. einer Precrash-Funktion mit Bremseingriff im Kraftfahrzeug, von Bedeutung. Ein SPAD-Bildaufnehmer kann mit oder ohne zusätzliche Sendequelle genutzt werden, um den Dynamikbereich des Systems zu erweitern.

In 1 ist ein Kamerasystem mit zwei verschiedenartigen Bildaufnehmern und der zugehörigen Bilddatenverarbeitung schematisch dargestellt und wird anhand eines weiteren Ausführungsbeispiels näher erläutert. Als Bildaufnehmer 1 ist ein Ferninfrarot-Bildaufnehmer und als Bildaufnehmer 2 ein CMOS Kamerachip, der im sichtbaren Spektralbereich empfindlich ist, vorgesehen. Der Ferninfrarot(FIR)-Bildaufnehmer gewährleistet durch die Aufnahme von Wärmestrahlung eine zuverlässige Fußgängererkennung. Der CMOS-Farbbildaufnehmer stellt eine zweidimensionale Bildinformation und zusätzlich eine Farbinformation bereit. Die Fusion beider Bilder führt zu einem farbigen Stereobild und ermöglicht eine Abstandsbestimmung zum Objekt. Ebenso werden die Daten der beiden Bildaufnehmer getrennt voneinander ausgewertet. Z.B. werden die FIR-Bilddaten für eine Nachtsichtfunktion im Fernbereich genutzt, während die Bilddaten des CMOS-Bildaufnehmers bezüglich Verkehrszeichen, Fahrspur etc. analysiert werden. Wird nun ein schmales Objekt mit dem CMOS Bildaufnahmechip detektiert, das als möglicher Fußgänger klassifiziert wird, so kann über die Wärmeabstrahlung des Objektes und deren Verteilung das Klassifizierungsergebnis plausibilisiert werden. Ein Pfosten wird so z.B. eindeutig von einer Person unterschieden. Auf analoge Weise kann auch zur Vermeidung bzw. Abschwächung von Wildunfällen verfahren werden. Weiterhin ist, wie in 1 dargestellt, eine Bildverarbeitung vorgesehen, die Objekttypen sicher erkennt, die Umgebungssituation analysiert, den Bewegungsverlauf von Objekten in Bildfolgen verfolgt (Tracking), etc. Die Kritikalität einer Situation wird analysiert. Tritt eine kritische Situation auf, wird der Fahrer optisch oder akustisch darauf aufmerksam gemacht und/oder ein Eingriff z.B. eine Bremsung eingeleitet.

Zudem ist eine separate Nutzung der Bildaufnehmerdaten in 1 vorgesehen. Es werden verschiedene Applikationen gleichzeitig abgedeckt. Z.B. kann der FIR-Bildaufnehmer für eine Nachtsicht Applikationen und der 2D-CMOS Bildaufnehmer für eine ACC Funktionen im Fernbereich eingesetzt werden. Dazu wird z.B. ein Verfahren verwendet, das aus der Bewegung von Objekten in Bildfolgen Tiefeninformation, Bewegungsrichtung und auch die Geschwindigkeit der Bewegung aus Bildfolgen extrahiert. Es wird in zwei oder mehr aufeinander folgenden Bildern nach gleichen Bildregionen gesucht, wobei die Länge des Verschiebungsvektors ein Maß für die Entfernung der Bildregion darstellt.

Zudem wird der CMOS Bildaufnehmer für Verkehrszeichenerkennung, Spurhaltefunktion, etc. genutzt. Wenn eines der beiden Bildaufnehmer z.B. wegen schlechter Witterung ausfällt, sind immer noch die 2D-Daten des anderen Bildaufnehmers für entsprechenden Applikationen verfügbar.

Für eine Nachtsicht-Applikationen ist sowohl die Verwendung einer Ferninfrarot(FIR)-Kamera als auch einer Nahinfrarot(NIR)-Kamera denkbar. Ein FIR-System benötigt keine aktive Ausleuchtung der Szene im Gegensatz zu Nahinfrarot-Systemen. Die hier vorliegende Erfindung kann jedoch zur Verbesserung der Robustheit bzw. Zuverlässigkeit noch zusätzlich mit einer Sendeeinheit ausgerüstet werden. Mit einer entsprechenden Sendeeinheit ist eine CMOS 2D-Kamera als NIR-System einsetzbar.

In einem weiteren Ausführungsbeispiel ist das Kamerasystem mit einer Chip-on-Board-Technik ausgeführt. Beide Kamera-Chips sind auf einem Substrat aufgebracht und sind somit als ein elektronisches Bauelement ausgeführt. Der Basisabstand der Kamera-Chips ist entsprechend klein gewählt.

Die jeweiligen optischen Kanäle sind für die entsprechenden Wellenlängen und Überwachungsbereiche ausgelegt. Anhand eines Ausführungsbeispiels mit einem FIR-Bildaufnehmer und einem CMOS-Bildaufnehmer werden die unterschiedlichen Ausführungsformen der Optikkanäle näher erläutert.

Der optische Kanal des FIR-Bildaufnehmers ist für eine Nachtsicht-Applikation in einem Kraftfahrzeug 3 (s. 2) ausgelegt. Dazu wird der Fernbereich 1 vor dem Kraftfahrzeug 3 überwacht. Als Bildaufnehmer 2 ist eine CMOS-Kamera zur Überwachung des Nahbereichs 2 vorgesehen. Die Überwachungsbereiche der Bildaufnehmer wie für ein Ausführungsbeispiel in 2 dargestellt, sind symmetrisch zur Fahrzeuglängsachse ausgerichtet. Die Schnittmenge der beiden Überwachungsbereiche ist der Überlappungsbereich 4, in diesem Bereich 4 werden die Daten der Bildaufnehmer fusioniert. Eine asymmetrische Ausrichtung des überwachten Fernbereichs 1 zum rechten Fahrbahnrand hin, z.B. zur Verkehrszeichenüberwachung, ist in 3 dargestellt. Die die Anzahl und Auslegung der Linsen kann für die jeweiligen Kanäle unterschiedlich sein. Durch den unterschiedlichen Wellenlängenbereich der Bildaufnehmer muss die jeweilige Optik speziell angepasst werden, um z.B. Farblängsfehler und Farbvergrößerungsfehler zu minimieren.


Anspruch[de]
Kamerasystem mit zumindest zwei Bildaufnehmern, wobei die Daten der Bildaufnehmer ausgelesen werden, dadurch gekennzeichnet, dass das Kamerasystem zumindest zwei verschiedenartige Bildaufnehmer umfasst und die Daten zu einem 3D-Bild zusammengefügt werden. Kamerasystem nach Anspruch 1, dadurch gekennzeichnet, dass zumindest zwei verschiedenartige Bildaufnehmer vorgesehen sind, die in unterschiedlichen Spektralbereichen empfindlich sind. Kamerasystem nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die zumindest zwei verschiedenartigen Bildaufnehmer unterschiedliche Abbildungsbereiche (1, 2) aufweisen, wobei die Abbildungsbereiche (1, 2) zumindest teilweise überlappen und die Position des Überlappungsbereichs (4) in den aufgenommenen Bildern vorgegeben ist. Kamerasystem nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass vorgegebene Bildmerkmale als Marken verwendet werden, die in den Bilddaten der zumindest zwei verschiedenartigen Bildaufnehmer gesucht werden und anhand der Marken die zumindest zwei Bilder zusammengefügt werden. Kamerasystem nach Anspruch 4, dadurch gekennzeichnet, dass Marken, die in den Bilddaten eines der zumindest zwei verschiedenartigen Bildaufnehmer nicht identifiziert werden können, gezielt durch eine erneute Aufnahme mit einer veränderten Belichtungszeit und/oder Belichtungsstärke und/oder Auflösung verifiziert werden. Kamerasystem nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass für die Abbildung des Überlappungsbereichs (4) der verschiedenartigen Bildaufnehmer in jedem Bild eine ähnliche Pixelzahl vorgesehen ist. Kamerasystem nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Bilddaten der verschiedenartigen Bildaufnehmer zeitsynchron und/oder mit der gleichen Taktfrequenz ausgelesen und/oder mit einem Zeitstempel versehen werden. Kamerasystem nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass Daten von zumindest einem der Bildaufnehmern getrennt analysiert werden. Kamerasystem nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass anhand der Daten von gleichartigen Bildaufnehmern Objekte erkannt und/oder deren Verhalten prädiziert wird. Kamerasystem nach Anspruch 8, dadurch gekennzeichnet, dass Informationen über Objekte und/oder deren prädiziertes Verhalten anhand der Daten von zumindest zwei verschiedenartigen Bildaufnehmern bestimmt und durch einen Vergleich plausibilisiert werden. Kamerasystem nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass zumindest ein Bildaufnehmer im ferninfraroten Spektralbereich empfindlich ist. Kamerasystem nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass ein Bildaufnehmer im sichtbaren und/oder nahinfraroten Spektralbereich empfindlich ist. Umgebungserfassungssystem für ein Kraftfahrzeug mit einer Kamerasystem nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass eine Fußgängererkennung vorgesehen ist.






IPC
A Täglicher Lebensbedarf
B Arbeitsverfahren; Transportieren
C Chemie; Hüttenwesen
D Textilien; Papier
E Bauwesen; Erdbohren; Bergbau
F Maschinenbau; Beleuchtung; Heizung; Waffen; Sprengen
G Physik
H Elektrotechnik

Anmelder
Datum

Patentrecherche

Patent Zeichnungen (PDF)

Copyright © 2008 Patent-De Alle Rechte vorbehalten. eMail: info@patent-de.com