PatentDe  


Dokumentenidentifikation DE60033751T2 15.11.2007
EP-Veröffentlichungsnummer 0001087205
Titel Stereo-Abstandsmesser
Anmelder Fuji Jukogyo K.K., Tokio/Tokyo, JP
Erfinder Sogawa, Yoshiyuki, Mitaka-shi, Tokyo, JP
Vertreter Meissner, Bolte & Partner GbR, 80538 München
DE-Aktenzeichen 60033751
Vertragsstaaten DE, GB
Sprache des Dokument EN
EP-Anmeldetag 12.09.2000
EP-Aktenzeichen 003078722
EP-Offenlegungsdatum 28.03.2001
EP date of grant 07.03.2007
Veröffentlichungstag im Patentblatt 15.11.2007
IPC-Hauptklasse G01C 11/06(2006.01)A, F, I, 20051017, B, H, EP
IPC-Nebenklasse G01C 3/08(2006.01)A, L, I, 20051017, B, H, EP   G01S 11/12(2006.01)A, L, I, 20051017, B, H, EP   G06T 7/00(2006.01)A, L, I, 20051017, B, H, EP   H04N 13/00(2006.01)A, L, I, 20051017, B, H, EP   G01C 25/00(2006.01)A, L, I, 20051017, B, H, EP   

Beschreibung[de]
HINTERGRUND DER ERFINDUNG 1. Gebiet der Erfindung

Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zum Stereoabgleich und ein Verfahren zum Berechnen eines der unendlichen Distanz entsprechenden Punkts. Insbesondere betrifft die Erfindung das Einstellen eines Suchbereichs zum Gebrauch beim Stereoabgleich.

2. Beschreibung des Stands der Technik

Im Stand der Technik ist eine Stereoverarbeitungsvorrichtung bekannt, die ein Paar von fotografischen Bildern mit einem Stereokamerasystem gewinnt und eine Distanz zu einem Objekt (oder eine Parallaxe), das in den aufgenommenen Bildern zu sehen ist, auf der Basis des Paars von einem Stereokamerasystem aufgenommenen Bildern berechnet. Zuerst identifiziert die Verarbeitungsvorrichtung ein korreliertes Ziel eines gegebenen Pixelblocks von einem aufgenommenen Bild (beispielsweise dem rechten Bild) in dem anderen aufgenommenen Bild (beispielsweise dem linken Bild) (Stereoabgleich). Dann berechnet die Verarbeitungsvorrichtung eine Parallaxe des Pixelblocks, d. h. den Grad der Abweichung in einer horizontalen Richtung zwischen der Position des Pixelblocks (einer korrelierten Quelle) in dem rechten Bild und der Position des korrelierten Ziels in dem linken Bild.

Wie allgemein bekannt ist, existiert das korrelierte Ziel eines gegebenen Pixelblocks in dem rechten Bild (dem Referenzbild) auf einer epipolaren Linie in dem linken Bild (dem Vergleichsbild) oder auf derselben horizontalen Linie (an der gleichen vertikalen Koordinate), auf der die korrelierte Quelle des Referenzbilds liegt, entsprechend dem Prinzip eines Stereoverfahrens. Somit wird die Parallaxe als der Grad der Rechtsabweichung in bezug auf eine horizontale Koordinate der korrelierten Quelle in dem Referenzbild berechnet. Unter der Annahme, daß die Distanz von dem Stereokamerasystem zu einem Objekt unendlich groß ist, ist seine theoretische Parallaxe null, und das korrelierte Ziel existiert auf der gleichen horizontalen Koordinate wie die korrelierte Quelle. Ein Punkt der horizontalen Koordinate auf der epipolaren Linie des korrelierten Ziels, der berechnet wird, wenn das Objekt in einer unendlichen Distanz liegt, wird als ein "der unendlichen Distanz entsprechender Punkt" bezeichnet. Der Grad der Rechtsabweichung (die Parallaxe) in bezug auf diesen der unendlichen Distanz entsprechenden Punkt nimmt mit der kleiner werdenden Distanz zum Objekt zu. Daher kann ein Suchbereich, der anzuwenden ist, wenn ein Stereoabgleich durchgeführt wird, als ein vorbestimmter Bereich eingestellt werden, der rechts von einem Punkt, an dem das korrelierte Ziel am weitesten links liegt, oder dem der unendlichen Distanz entsprechenden Punkt liegt.

Ein Koordinatenpunkt der korrelierten Quelle in dem Referenzbild (nachstehend "Referenzkoordinatenpunkt") und der der unendlichen Distanz entsprechende Punkt in dem Vergleichsbild sind theoretisch miteinander koinzident, wie oben gezeigt wurde. Tatsächlich gibt es jedoch viele Fälle, in denen sie voneinander abweichen, Der Grad einer solchen Abweichung ist nicht gleichmäßig über das Gesamtbild, sondern ist in Abhängigkeit von dem Ort in dem Bild veränderlich. Eine potentielle Ursache für diese Abweichung ist, daß die Brennweiten der rechten und der linken Kamera voneinander verschieden sind, wodurch eines der Bilder gegenüber dem anderen vergrößert oder verkleinert wird. Die Abweichung kann beispielsweise auch infolge einer Verzeichnung von Kameraobjektiven oder eines Fehlers der Kameraanbringposition auftreten. Infolgedessen kann die Situation eintreten, daß der der unendlichen Distanz entsprechende Punkt links (was entgegengesetzt zu der Normalrichtung ist) von dem Referenzkoordinatenpunkt liegt. Dadurch stellt sich das Problem ein, daß es dann, wenn der Referenzkoordinatenpunkt als Startpunkt eines Suchbereichs eingestellt ist, unmöglich wird, ein korreliertes Ziel zu identifizieren, das links von diesem Startpunkt liegt.

Eine potentielle Lösung dieses Problems wäre es, den Startpunkt des Suchbereichs links von dem Referenzkoordinatenpunkt mit einem gewissen Spielraum einzustellen. Der Grad der Abweichung des der unendlichen Distanz entsprechenden Punkts von dem Referenzkoordinatenpunkt ist jedoch für unterschiedliche Bildbereiche nicht gleichmäßig, wie oben gesagt wird. Beim Einstellen eines Spielraums in festgelegtem Umfang muß dieser somit größer als der Grad einer maximalen Abweichung des der unendlichen Distanz entsprechenden Punkts eingestellt werden. Infolgedessen wird jedoch der Suchbereich um so viel wie der vergrößerte Umfang des so erhaltenen Spielraums erweitert, und das führt zu dem Problem, daß die beim Stereoabgleich involvierte rechnerische Komplexität zunimmt, was zu einer Verringerung der Verarbeitungsgeschwindigkeit führt. Außerdem nimmt die Möglichkeit eines Fehlabgleichs mit der Vergrößerung des Suchbereichs zu. Infolgedessen stellt sich auch das Problem, daß die Zuverlässigkeit von errechneten Parallaxen oder errechneten Distanzen schlechter wird. Aus "A stereo matching algorithm with an adaptive window: theory and experiment" in Proc. of the Int. Conf. on Robotics and Automation, Sacramento, 9.-11. April 1991, Los Alamitos, IEEE comp. Soc. Press, US, vol. 2, ist eine Technik zum Stereoabgleich bekannt, wobei das Suchfenster adaptiv eingestellt wird unter Anwendung eines statistischen Modells von Intensität und Disparität.

ZUSAMMENFASSUNG DER ERFINDUNG

Die vorliegende Erfindung wurde im Hinblick auf die oben angesprochenen Probleme gemacht. Eine erste Aufgabe der vorliegenden Erfindung ist daher die Bereitstellung einer Vorrichtung und eines Verfahrens zum Stereoabgleich, womit bei der Durchführung eines Stereoabgleichs ein Suchbereich in Abhängigkeit von dem Ort in einem Bild variabel eingestellt werden kann, und die Bereitstellung eines Verfahrens zum Berechnen eines einer unendlichen Distanz entsprechenden Punkts.

Eine zweite Aufgabe der vorliegenden Erfindung ist die Vermeidung einer Erweiterung eines Suchbereichs durch Einstellen eines geeigneten Suchbereichs in Abhängigkeit von dem Ort in einem Bild, um dadurch eine Zunahme der rechnerischen Komplexität zu vermeiden, die für den Stereoabgleichvorgang erforderlich ist.

Eine dritte Aufgabe der vorliegenden Erfindung ist die Verminderung der Gefahr eines Fehlabgleichs durch Vermeidung einer Erweiterung des Suchbereichs und eine dementsprechende Vermeidung einer Verschlechterung der Zuverlässigkeit von Distanzdaten.

Die Aufgaben können gelöst werden durch eine Stereoabgleichvorrichtung, die ein Stereokamerasystem, einen Speicher, einen Adreßgenerator und eine Stereoabgleicheinheit aufweist. Das Stereokamerasystem nimmt Bilder eines vorbestimmten Bereichs auf und erzeugt erste und zweite Bilder des vorbestimmten Bereichs. Der Speicher speichert erste Bilddaten innerhalb eines Referenzpixelbereichs in dem ersten Bild und zweite Bilddaten auf einer Horizontallinie in dem zweiten Bild, wobei die Horizontallinie einer Vertikalposition des Referenzpixelbereichs in dem ersten Bild entspricht. Der Adreßgenerator stellt einen Suchereich für den Stereoabgleich ein und weist das Lesen eines Teils der zweiten Bilddaten, der innerhalb des Suchbereichs ist, und der ersten Bilddaten innerhalb des Referenzpixelbereichs aus dem Speicher an. Die Stereoabgleicheinheit identifiziert ein korreliertes Ziel des Referenzpixelbereichs durch den Stereoabgleich auf der Basis des Teils der zweiten Bilddaten, der innerhalb des Suchbereichs ist, und der ersten Bilddaten innerhalb des Referenzpixelbereichs, die aus dem Speicher gelesen werden, und berechnet eine Parallaxe des Referenzpixelbereichs auf der Basis des korrelierten Ziels des Referenzpixelbereichs. Der vorstehende Adreßgenerator korrigiert einen Ort des Suchbereichs für den Referenzpixelbereich auf der Basis des Grads der Abweichung eines der unendlichen Distanz entsprechenden Punkts in bezug auf eine horizontale Position des Referenzpixelbereichs.

Bei der Stereoabgleichvorrichtung der Erfindung wird es bevorzugt, daß der Adreßgenerator den Ort des Suchbereichs in die gleiche Richtung verschiebt wie eine Richtung der Abweichung des der unendlichen Distanz entsprechenden Punkts in bezug auf die horizontale Position des Referenzpixelbereichs. Der Adreßgenerator kann einen Startpunkt des Suchbereichs in die gleiche Richtung verschieben wie die Richtung der Abweichung des der unendlichen Distanz entsprechenden Punkts. Ferner kann der Adreßgenerator einen Endpunkt des Suchbereichs in die gleiche Richtung verschieben wie die Richtung der Abweichung des der unendlichen Distanz entsprechenden Punkts.

Ferner wird bei der Stereoabgleichvorrichtung der Erfindung bevorzugt, daß der Adreßgenerator den Korrekturgrad des Suchbereichs in bezug auf den Abweichungsgrad des der unendlichen Distanz entsprechenden Punkts identifiziert.

Außerdem wird es bevorzugt, daß die Stereoabgleichvorrichtung ferner einen Korrekturwertspeicher aufweist. Der Korrekturwertspeicher speichert einen Korrekturwert für die Korrektur des Orts des Suchbereichs in bezug auf einen Ort des Referenzpixelbereichs in dem ersten Bild. In diesem Fall stellt der Adreßgenerator den Ort des Suchbereichs für den Referenzpixelbereich auf der Basis des Orts des Referenzpixelbereichs und des Korrekturwerts ein, der in dem Korrekturwertspeicher für den Ort des Referenzpixelbereichs gespeichert ist. Der Adreßgenerator kann den Startpunkt des Suchbereichs für den Referenzpixelbereich auf der Basis des Orts des Referenzpixelbereichs und des Korrekturwerts einstellen, der in dem Korrekturwertspeicher für den Ort des Referenzpixelbereichs gespeichert ist.

Bei der vorstehenden Stereoabgleichvorrichtung kann das Stereokamerasystem ein Paar von Stereokameras aufweisen, die an einem Fahrzeug angebracht sind, wobei das Paar von Stereokameras Bilder von Szenen außerhalb des Fahrzeugs aufnimmt. In diesem Fall berechnet die Stereoabgleicheinheit eine Distanz zu einem Objekt außerhalb des Fahrzeugs auf der Basis der Parallaxe des Referenzpixelbereichs.

Die oben genannten Ziele können auch erreicht werden durch ein Stereoabgleichverfahren, das die folgenden Schritte aufweist: Aufnehmen von Bildern eines vorbestimmten Bereichs und Erzeugen von ersten und zweiten Bildern des vorbestimmten Bereichs; Identifizieren eines Referenzpixelbereichs in dem ersten Bild; Identifizieren eines Suchbereichs für den Referenzpixelbereich in dem zweiten Bild; Korrigieren eines Orts des Suchbereichs für den Referenzpixelbereich auf der Basis des Grads der Abweichung eines der unendlichen Distanz entsprechenden Punkts in bezug auf eine horizontale Position des Referenzpixelbereichs; und Identifizieren eines korrelierten Ziels des Referenzpixelbereichs mittels Durchsuchen des Suchbereichs.

Bei dem Stereoabgleichverfahren der Erfindung ist es bevorzugt vorteilhaft, daß der Schritt des Korrigierens des Orts des Suchbereichs den Ort des Suchbereichs in die gleiche Richtung verschiebt wie die Richtung der Abweichung des der unendlichen Distanz entsprechenden Punkts in bezug auf die horizontale Position des Referenzpixelbereichs. Der Schritt des Korrigierens des Orts des Suchbereichs kann einen Startpunkt des Suchbereichs in die gleiche Richtung verschieben wie die Richtung der Abweichung des der unendlichen Distanz entsprechenden Punkts in bezug auf die horizontale Position des Referenzpixelbereichs. Ferner kann der Schritt des Korrigierens des Orts des Suchbereichs einen Endpunkt des Suchbereichs in die gleiche Richtung verschieben wie die Richtung der Abweichung des der unendlichen Distanz entsprechenden Punkts in bezug auf die horizontale Position des Referenzpixelbereichs.

Bei dem vorstehenden Stereoabgleichverfahren der Erfindung ist es ferner vorteilhaft, daß der Schritt des Korrigierens des Orts des Suchbereichs den Ort des Suchbereichs mit einem Korrekturwert korrigiert, welcher der Abweichung des der unendlichen Distanz entsprechenden Punkts entspricht.

Außerdem ist es vorteilhaft, daß das Stereoabgleichverfahren feiner aufweist: Berechnen einer Distanz zu einem Objekt außerhalb eines Fahrzeugs auf der Basis des korrelierten Ziels des Referenzpixelbereichs. In diesem Fall nimmt der Schritt des Aufnehmens von Bildern des vorbestimmten Bereichs Bilder von Szenen außerhalb des Fahrzeugs auf.

Es ist außerdem vorteilhaft, daß das Stereoabgleichverfahren ferner die folgenden Schritte aufweist: Aufnehmen eines von einem Bildschirm gelieferten Bilds des vorbestimmten Bereichs unter Verwendung eines Paars von Stereokameras und Erzeugen von dritten und vierten Bildern des Bildschirms, wobei der Bildschirm eine erste Vertikallinie und eine zweite Vertikallinie in einem Abstand anzeigt, der gleich einer Grundlinie der Stereokameras ist; Identifizieren einer Abweichung einer Position der zweiten Vertikallinie, die auf dem vierten Bild gezeigt ist, in bezug auf eine Position der ersten Vertikallinie, die auf dem dritten Bild gezeigt ist; und Berechnen eines der unendlichen Distanz entsprechenden Punkts, der jeder Position an der auf dem dritten Bild gezeigten ersten Vertikallinie entspricht, auf der Basis der Abweichung der Position der zweiten Vertikallinie. In diesem Fall nutzt der Schritt des Korrigierens des Orts des Suchbereichs den so berechneten der unendlichen Distanz entsprechenden Punkt als den der unendlichen Distanz entsprechenden Punkt, welcher der horizontalen Position des Referenzpixelbereichs entspricht.

Ferner können die oben genannten Aufgaben mit einer Stereoabgleichvorrichtung gelöst werden, die ein Stereokamerasystem, eine Referenzpixelbereich-Identifizierungseinheit, eine Suchbereich-Identifizierungseinheit, eine Korrektureinheit und eine Identifizierungseinheit für ein korreliertes Ziel aufweist. Das Stereokamerasystem nimmt Bilder eines vorbestimmten Bereichs auf und erzeugt erste und zweite Bilder des vorbestimmten Bereichs. Die Referenzpixelbereich-Identifizierungseinheit identifiziert einen Referenzpixelbereich in dem ersten Bild. Die Suchbereich-Identifizierungseinheit identifiziert einen Suchbereich für den Referenzpixelbereich in dem zweiten Bild. Die Korrektureinheit korrigiert einen Ort des Suchbereichs für den Referenzpixelbereich auf der Basis des Grads der Abweichung eines einer unendlichen Distanz entsprechenden Punkts in bezug auf eine horizontale Position des Referenzpixelbereichs. Die Identifizierungseinheit für ein korreliertes Ziel identifiziert ein korreliertes Ziel des Referenzpixelbereichs mittels Durchsuchen des Suchbereichs.

Ferner können die oben genannten Aufgaben durch ein Verfahren zum Berechnen eines der unendlichen Distanz entsprechenden Punkts gelöst werden. Das Verfahren weist die folgenden Schritte auf: Aufnehmen eines Bilds eines Bildschirms unter Verwendung eines Paars von Stereokameras und Erzeugen von ersten und zweiten Bildern des Bildschirms, wobei der Bildschirm eine erste Vertikallinie und eine zweite Vertikallinie in einem Abstand anzeigt, der gleich einer Grundlinie der Stereokameras ist; Identifizieren einer Abweichung einer Position der zweiten Vertikallinie, die auf dem zweiten Bild gezeigt ist, in bezug auf eine Position der ersten Vertikallinie, die auf dem ersten Bild gezeigt ist; und Berechnen eines einer unendlichen Distanz entsprechenden Punkts entsprechend jeder Position auf der ersten Vertikallinie, die in dem ersten Bild gezeigt ist, auf der Basis der Abweichung der Position der zweiten Vertikallinie.

KURZE BESCHREIBUNG DER ZEICHNUNGEN

1 ist ein Blockbild einer Stereoverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung;

2 ist ein Diagramm eines Suchbereichs, wenn ein Korrekturwert mit 0 eingestellt ist;

3 ist ein Diagramm eines Suchbereichs, wenn ein Korrekturwert mit +4 eingestellt ist;

4 ist ein Diagramm eines Suchbereichs, wenn ein Korrekturwert mit –4 eingestellt ist;

5 ist ein Diagramm zur Erläuterung eines Verfahrens zum Berechnen eines einer unendlichen Distanz entsprechenden Punkts gemäß der vorliegenden Erfindung;

6 ist ein Diagramm, das ideale fotografische Bilder zeigt;

7 ist ein Diagramm, das fotografische Bilder zeigt, die in einem Fall erhalten wurden, in dem die Brennweite einer linken Kamera kleiner als die Brennweite einer rechten Kamera ist;

8 ist ein Diagramm, das fotografische Bilder zeigt, die in einem Fall erhalten wurden, in dem die Brennweite der linken Kamera kleiner als die Brennweite der rechten Kamera ist und ein Objektiv der linken Kamera stark verzerrt ist; und

9 zeigt eine Beziehung zwischen Referenzkoordinatenpunkten und Korrekturwerten.

GENAUE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORM

1 ist ein Blockbild einer Stereoverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung. Ein Stereokamerasystem 1, das Bilder von Ansichten außerhalb eines Fahrzeugs aufnimmt, ist nahe dessen Rückspiegel angebracht. Das Stereokamerasystem 1 besteht aus einem Paar von Kameras 2a, 2b, die jeweils einen Bildsensor wie etwa einen ladungsgekoppelten Bildwandler (CCD) aufweisen. Diese Kameras 2a, 2b sind mit einem vorbestimmten Abstand in Richtung der zwischen ihnen befindlichen Fahrzeugbreite angebracht. Die Hauptkamera 2a zum Erhalten von Referenzbilddaten ist an der in Fahrzeugvorwärtsrichtung rechten Seite angebracht. Andererseits ist die Nebenkamera 2b zum Erhalten eines Vergleichsbilds an der in Vorwärtsrichtung linken Seite angebracht.

In einem Zustand, in dem das Paar von Kameras 2a, 2b, synchronisiert ist, werden von den Kameras 2a, 2b ausgegebene analoge Bilder jeweils von A/D-Umwandlern 3a, 3b in Digitalbilder umgewandelt, wobei jedes Digitalbild eine vorbestimmte Helligkeitsstufe (z. B. 256 Grauwertstufen) hat. Infolgedessen werden Referenzbilddaten (Helligkeitsdaten) von 512 Pixeln in der Horizontalrichtung mal 200 Pixel in der Vertikalrichtung durch ein Ausgangssignal der Hauptkamera 2a erzeugt. Aus einem Ausgangssignal der Nebenkamera 2b werden ferner Vergleichsbilddaten erhalten, wobei das Vergleichsbild die gleiche vertikale Länge wie das Referenzbild und eine größere horizontale Länge als das Referenzbild hat (beispielsweise 640 Pixel in der Horizontalrichtung mal 200 Pixel in der Vertikalrichtung). Die digitalisierten räumlichen Bilder (Referenzbild und Vergleichsbild) für einen Rahmen (eine Ansicht) werden einzeln in Rahmenspeichern 4a, 4b gespeichert, die eine Kapazität zur Speicherung von Digitaldaten für einen Rahmen haben.

Die in vorbestimmten Speicherbereichen in den Rahmenspeichern 4a, 4b gespeicherten Daten werden nach Maßgabe von Anweisungen von einem Adreßgenerator 12 ausgelesen, der einen Teil einer Adreßerzeugungsschaltung 5 bildet. Die so ausgelesenen Bilddaten werden zu einer Bildkorrekturschaltung 5 übertragen. Die Bildkorrekturschaltung 5 führt Operationen wie eine Positionskorrektur und eine Helligkeitskorrektur der Bilder aus, um dadurch die Genauigkeit des Stereoabgleichs zu steigern, der in einer späteren Stufe von einer Stereoabgleichschaltung 8 durchgeführt wird. Es gibt Fälle, in denen die Positionen der Stereobilder beispielsweise infolge einer Abweichung von Anbringpositionen (in einer horizontalen, vertikalen oder Drehrichtung) der rechten und linken Kamera 2a, 2b, einer Verzerrung von Kameraobjektiven oder einer Neigung einer Lichterfassungsoberfläche jedes ladungsgekoppelten Bauelements verschoben sind. Daher wird die Abweichung der Stereobilder dadurch verringert, daß an den Stereobildern eine lineare Formkorrektur wie eine affine Transformation oder eine nichtlineare Formkorrektur vorgenommen wird. Ein nichtlineares Korrekturverfahren, das beispielsweise angewandt werden kann, ist ein Verfahren, das in der JP-Patentanmeldung Hei-10-132275 (ungeprüfte JP-Patentveröffentlichung Hei-11-325889) beschrieben ist. Die Helligkeitskorrektur ist eine Korrektur zum Berichtigen von Differenzen in der Empfindlichkeit der Stereoverarbeitungsvorrichtung. Die Helligkeitskorrektur ist beispielsweise eine LOG-Korrektur zum Verbessern des Kontrasts von Teilen geringer Helligkeit (beschrieben in der JP-Patentanmeldung Hei-11-6879 (ungeprüfte JP-Patentveröffentlichung 2000-207555)), eine Schattierungskorrektur zur Korrektur von Helligkeitswerten auf der Basis eines Schattierungskorrekturverhältnisses, das für jedes Pixel gespeichert ist (beschrieben in JP-Patentanmeldung Hei-5-58974 (ungeprüfte JP-Patentveröffentlichung Hei-06-273171)), usw.

Die durch die Bildkorrekturschaltung 5 korrigierten Referenzbilddaten werden in einem Speicherbereich in einem Referenzbildlinienspeicher 6 gespeichert. Dabei werden die Referenzbilddaten von vier Horizontallinien in Pixeleinheiten (eine Horizontallinie in Pixelblockeinheiten 4×4) gespeichert. Außerdem werden die von der Bildkorrekturschaltung 5 korrigierten Vergleichsbilddaten in einem Speicherbereich in einem Vergleichsbildlinienspeicher 7 gespeichert. Dabei werden die Vergleichsbilddaten einer Horizontallinie in Pixelblockeinheiten gespeichert. Der Ausdruck "eine Horizontallinie", der in der folgenden Erläuterung verwendet wird, bezieht sich auf eine Horizontallinie in Pixelblockeinheiten. Der Adreßgenerator 12 bezeichnet die Speicherbereiche der Linienspeicher 6, 7, in welche die Bilddaten geschrieben werden. Die von der Bildkorrekturschaltung 5 ausgegebenen Referenzbilddaten werden außerdem in einen Mikrocomputer 9 eingegeben.

Die einem Pixelblock (Referenzpixelblock) entsprechenden Referenzbilddaten, die in dem Referenzbildlinienspeicher 6 gespeichert sind, werden entsprechend einer Anweisung von dem Adreßgenerator 12 ausgelesen und zu der Stereoabgleichschaltung 8 übertragen. Die so übertragenen Daten sind korrelierte Quellendaten, die bei der Durchführung einer Stereoabgleichoperation genutzt werden sollen. Anders ausgedrückt, sind es Pixeldaten jedes Pixels (Helligkeitswert) in dem Referenzpixelblock (nachstehend "Referenzpixelblockdaten"). Ferner werden die einem "Suchbereich" entsprechenden Vergleichsbilddaten, die in dem Vergleichsbildlinienspeicher 7 gespeichert sind (nachstehend "Suchbereichsdaten") entsprechend einer Anweisung von einem Suchbereichsadreßgenerator 13 ausgelesen und zu der Stereoabgleichschaltung 8 übertragen. Die so übertragenen Daten sind Pixeldaten jedes Pixels (Helligkeitswert), die beim Stereoabgleich zu verwenden sind (nachstehend "Suchbereichsdaten"). Da der von dem Suchbereichsadreßgenerator 13 eingestellte "Suchbereich" eines der Merkmale der vorliegenden Ausführungsform ist, wird er später im einzelnen beschrieben.

Die Stereoabgleichschaltung 8 berechnet Parallaxen durch Ausführung des Stereoabgleichs auf der Basis der Referenzpixelblockdaten und der Suchbereichsdaten. Da die Parallaxe für jeden Pixelblock von 4×4 Pixel berechnet wird, kann aus einem vollständigen Rahmen des Referenzbilds ein Maximalwert von 128×50 Parallaxen erhalten werden. Bei Betrachtung eines Pixelblocks (Referenzpixelblocks) in dem Referenzbild wird ein Bereich (ein korreliertes Ziel), der mit Helligkeitseigenschaften des einen Pixelblocks korreliert ist, mittels Durchsuchen des Suchbereichs in dem Vergleichsbild identifiziert. Während ein Suchpunkt Pixel für Pixel entlang der vorgenannten epipolaren Linie verlagert wird, bewertet die Stereoabgleichschaltung 8 den Korrelationszustand jedes Pixelblocks innerhalb des Suchbereichs mit dem Referenzpixelblock.

Die Korrelation zwischen zwei Pixelblöcken kann bewertet werden durch Berechnen einer Cityblockdistanz CB, die beispielsweise in der folgenden Gleichung (1) gezeigt ist. In dieser Gleichung bezeichnet p1ij einen Helligkeitswert des Pixels (i, j) eines Pixelblocks, wogegen p2ij einen Helligkeitswert des Pixels (i, j) des anderen Pixelblocks darstellt. Die Cityblockdistanz CB ist die Summe (der Absolutwert) von Differenzen zwischen den beiden geografisch übereinstimmenden Helligkeitswerten p1ij, p2ij für einen kompletten Pixelblock, wobei die Korrelation zwischen den beiden Pixelblöcken um so größer ist, je kleiner die Differenzen sind. CB = &Sgr;|p1ij| – p2ij|(1)

Grundsätzlich wird ein Pixelblock, der einen kleinsten Wert der Cityblockdistanz CB unter Cityblockdistanzen CB ergibt, die für jeden Pixelblock auf der epipolaren Linie berechnet weiden, als das korrelierte Ziel des Referenzpixelblocks beurteilt. Der Grad der Abweichung zwischen dem so identifizierten korrelierten Ziel und dem Referenzpixelblock ist die Parallaxe.

Die Stereoabgleichschaltung 8 bewertet auch die An- oder Abwesenheit eines Helligkeitsrands (den Grad der Helligkeitsänderung) in der Horizontalrichtung des Pixelblocks sowie seine Beziehung zu Maximal- und Minimalwerten der Cityblockdistanz CB, die auf derselben epipolaren Linie berechnet wird. Um die Zuverlässigkeit als Distanzdaten sicherzustellen, führt die Stereoabgleichschaltung 8 einen Filtervorgang an der Parallaxe aus und gibt nur diejenige Parallaxe aus, die als gültig beurteilt wurde (die Parallaxe, die als gültig beurteilt wurde, wird nachstehend einfach als die "Parallaxe" bezeichnet). In bezug auf Einzelheiten der Hardwarekonfiguration und der Filteroperation zum Berechnen der Cityblockdistanz sollte erforderlichenfalls auf die ungeprüfte JP-Patentveröffentlichung Nr. 5-114099 Bezug genommen werden, in der sie erläutert sind. Die durch die vorgenannte Operation berechnete Parallaxe wird dem Mikrocomputer 9 zugeführt.

Bei dieser Ausführungsform hat die Adreßerzeugungsschaltung 10 eine Funktion des Einstellens eines Suchbereichs S, der bei der Durchführung des Stereoabgleichs zu verwenden ist. Zur Realisierung dieser Funktion hat die Adreßerzeugungsschaltung 10 einen Referenzpixelblock-Positionbezeichner 11, einen Korrekturwertspeicher 14 und den Suchbereichsadreßgenerator 13. Die Position, an welcher der Suchbereich S eingestellt ist, wird wie folgt entsprechend dem Status eines einer unendlichen Distanz entsprechenden Punkts &khgr; der Position (ip, jp) eines Referenzpixelblocks PB korrigiert.

Damit der Referenzpixelblock PB dem Stereoabgleich unterzogen werden kann, identifiziert der Referenzpixelblock-Positionsbezeichner 11 zuerst dessen Position (ip, jp) in dem Referenzbild (wobei 0 ≤ ip ≤ 127, 0 ≤ ip ≤ 49) in Pixelblockeinheiten. Dann wird die Position (ip, jp) des Referenzpixelblocks PB an den Suchbereichsadreßgenerator 13 und den Korrekturwertspeicher 14 ausgegeben.

Wenn die Position (ip, jp) des Referenzpixelblocks PB von dem Referenzpixelblock-Positionsbezeichner 11 identifiziert worden ist, wird auf eine Suchstartpunkt-Korrekturtabelle 15 zurückgegriffen, die in dem Korrekturwertspeicher 14 gespeichert ist, und dann wird ein Korrekturwert PS für den Referenzpixelblock PB identifiziert. Der Korrekturwertspeicher 14 besteht beispielsweise aus einem elektrisch löschbaren programmierbaren Festwertspeicher bzw. EEPROM. Dieser Korrekturwert PS ist ein Wert zum Korrigieren eines Startpunkts des Suchbereichs S in dem Vergleichsbild oder zum Korrigieren des Suchstartpunkts und ist anwendbar, wenn nach einem korrelierten Ziel des Referenzpixelblocks PB gesucht wird. Korrekturwerte PS werden vorgegeben und in den Korrekturwertspeicher 14 geschrieben, und zwar auf der Basis von Abweichungseigenschaften eines einer unendlichen Distanz entsprechenden Punkts &khgr; in einem fotografischen Bild, gemessen zum Zeitpunkt einer Systeminitialisierung (d. h. in einem Einstellverfahren im Werk oder während einer Neueinstellung bei einem Händler). Der der unendlichen Distanz entsprechende Punkt &khgr; und der Korrekturwert PS haben im allgemeinen die folgende Beziehung:

(Beziehung zwischen dem der unendlichen Distanz entsprechenden Punkt &khgr; und dem Korrekturwert PS)

  • 1. Der Korrekturwert PS hat das gleiche Vorzeichen wie die Richtung (plus oder minus) der Abweichung des der unendlichen Distanz entsprechenden Punkts &khgr; in bezug auf einen Referenzkoordinatenpunkt X (den Koordinatenpunkt des Referenzpixelblocks PB).
  • 2. Je größer der Grad der Abweichung des der unendlichen Distanz entsprechenden Punkts &khgr; in bezug auf den Referenzkoordinatenpunkt X, desto größer ist der Grad der Korrektur, den der Korrekturwert PS bezeichnet.

Wenn der Korrekturwert PS, welcher der Position (ip, jp) des Referenzpixelblocks entspricht, aus dem Korrekturwertspeicher 14 ausgelesen ist, werden ein Startpunkt SAD eines Suchbereichs S und ein Endpunkt EAD davon auf der Basis der folgenden Gleichungen durch den Suchbereichsadreßgenerator 13 berechnet, und der Suchbereich S wird eingestellt:

(Einstellen des Suchbereichs S) Startpunkt SAD = (4 × ip – &bgr;) + PS Endpunkt EAD = SAD + 131

Dabei wird der Referenzkoordinatenpunkt X (in Pixeleinheiten) berechnet durch Multiplikation der horizontalen Koordinate ip des Referenzpixelblocks PB mit der Anzahl von horizontal angeordneten Pixeln 4 in einem Pixelblock. Ein Grundstartpunkt A wird berechnet durch Subtraktion eines bestimmten Spielraums &bgr; von dem Referenzkoordinatenpunkt X (oder durch Verschieben des Referenzkoordinatenpunkts X nach links). Der Startpunkt SAD des Suchbereichs S ist ein Wert, der erhalten wird durch Addition des Korrekturwerts PS zu dem Grundstartpunkt A. Ferner ist der Endpunkt EAD des Suchbereichs S ein Wert, der erhalten wird durch Addition eines bestimmten Werts 131 zu dem Startpunkt SAD; somit wird dieser Wert speziell bestimmt, wenn der Startpunkt SAD bestimmt wird. Der Suchbereich S ist daher der Bereich (bis zu 132 Pixel breit) vom Startpunkt SAD bis zum Endpunkt EAD.

Der Suchbereichsadreßgenerator 13 erteilt dem Vergleichsbildlinienspeicher 7 eine Anweisung, daß die Vergleichsbilddaten (Suchbereichsdaten) innerhalb des so eingestellten Suchbereichs S ausgelesen werden sollen. Die ausgelesenen Suchbereichsdaten werden an die Stereoabgleichschaltung 8 übertragen. Die Stereoabgleichschaltung 8 berechnet dann die vorgenannte Cityblockdistanz CB auf der Basis der von dem Referenzbildlinienspeicher 6 übertragenen Referenzpixelblockdaten und der Suchbereichsdaten.

Das Diagramm von 2 zeigt einen Suchbereich S, der eingestellt wird, wenn ein Korrekturwert PS gleich 0 ist. Der Korrekturwert PS wird entsprechend seiner Beziehung zu dem gemessenen, der unendlichen Distanz entsprechenden Punkt &khgr; eingestellt, wie oben beschrieben wird. Somit bedeutet der Korrekturwert PS gleich 0, daß die Abweichung des der unendlichen Distanz entsprechenden Punkts &khgr; in bezug auf den Referenzkoordinatenpunkt X gleich 0 ist oder mit anderen Worten, daß der der unendlichen Distanz entsprechende Punkt auf derselben horizontalen Koordinate wie der Referenzkoordinatenpunkt X existiert. Auch wenn also der Suchvorgang ausgehend von dem Grundstartpunkt A beginnt (Korrekturwert PS = 0), weicht der der unendlichen Distanz entsprechende Punkt &khgr; in keinem Fall von dem Suchbereich S ab. Der Endpunkt EAD des Suchbereichs S ist in diesem Fall A + 131.

Das Diagramm von 3 zeigt einen Suchbereich S, der eingestellt wird, wenn ein Korrekturwert PS gleich +4 ist. Da der Korrekturwert PS gleich +4 ist, wird der Startpunkt SAD auf einen Wert eingestellt, der erhalten wird durch Addition des Korrekturwerts 4 zu dem Grundstartpunkt A, und der Endpunkt EAD wird mit +135 eingestellt. Der Korrekturwert PS von +4 bedeutet, daß der der unendlichen Distanz entsprechende Punkt &khgr; um den Grad der Korrektur gleich 4 in bezug auf den Referenzkoordinatenpunkt X nach rechts abweicht. Selbst wenn daher der Startpunkt SAD um den Grad der Korrektur nach rechts verschoben wird, weicht der der unendlichen Distanz entsprechende Punkt &khgr; in keinem Fall von dem Suchbereich S ab, und es ist gewährleistet, daß der der unendlichen Distanz entsprechende Punkt &khgr; in dem rechten Bereich des Startpunkts SAD existiert.

Das Diagramm von 4 zeigt einen Suchbereich S, der eingestellt wird, wenn ein Korrekturwert PS gleich –4 ist. Da der Korrekturwert PS gleich –4 ist, wird der Startpunkt SAD auf einen Wert eingestellt, der erhalten ist durch Subtraktion des Korrekturwerts 4 von dem Grundstartpunkt A, und der Endpunkt EAD wird auf +127 eingestellt. Der Korrekturwert PS von –4 bedeutet, daß der der unendlichen Distanz entsprechende Punkt &khgr; um den Grad der Korrektur gleich 4 in bezug auf den Referenzkoordinatenpunkt X nach links abweicht. Daher ist es möglich zu verhindern, daß der der unendlichen Distanz entsprechende Punkt &khgr; von dem Suchbereich S abweicht, indem der Startpunkt SAD um den Grad der Korrektur nach links verschoben wird. Es ist sichergestellt, daß der der unendlichen Distanz entsprechende Punkt &khgr; auch in diesem Fall in der rechten Umgebung des Startpunkts SAD existiert.

Wenn man berücksichtigt, daß die Abweichung des der unendlichen Distanz entsprechenden Punkts &khgr; in bezug auf den Referenzkoordinatenpunkt X für unterschiedliche Bildbereiche nicht gleichförmig ist, werden bei dieser Ausführungsform der Startpunkt SAD und der Endpunkt EAD des Suchbereichs S verschoben. Wenn dagegen der Suchbereich S an einem festgelegten Ort eingestellt ist, muß der Startpunkt des Suchbereichs S um einen Spielraum nach links verschoben werden, der unter Berücksichtigung des Grads einer maximalen Abweichung des der unendlichen Distanz entsprechenden Punkts &khgr; bestimmt wird, und der Endpunkt muß ebenfalls um einen relativ großen Spielraum nach rechts verschoben werden. Wenn der Ort des Suchbereichs entsprechend der Abweichung des der unendlichen Distanz entsprechenden Punkts variabel gemacht ist, wie bei der vorliegenden Ausführungsform, ist es nicht notwendig, so große Spielräume einzustellen, so daß keine Erweiterung des Suchbereichs resultiert. Infolgedessen ist es möglich, eine Zunahme der rechnerischen Komplexität zu vermeiden, die für den Stereoabgleich erforderlich ist, und eine Abnahme der Verarbeitungsgeschwindigkeit zu verhindern. Es ist ferner möglich, die Gefahr eines Fehlabgleichs beim Stereoabgleich zu verringern, weil kein großer Suchbereich eingestellt werden muß. Somit ist es möglich, die Präzision von berechneten Parallaxen oder berechneten Distanzen sicherzustellen.

Bei den vorstehenden Ausführungsformen wird der Startpunkt SAD des Suchbereichs S erhalten durch Addition des Korrekturwerts PS zu dem Grundstartpunkt A, und der Endpunkt EAD davon wird erhalten durch Addition des bezeichneten Werts 131 zu dem Startpunkt SAD. Der Endpunkt EAD des Suchbereichs S kann jedoch durch Addition des Korrekturwerts PS erhalten werden. In diesem Fall wird der Startpunkt SAD erhalten durch Subtraktion des bezeichneten Werts 131 von dem Endpunkt EAD. Die Abweichung des der unendlichen Distanz entsprechenden Punkts &khgr; in bezug auf den Referenzkoordinatenpunkt X kann mit der folgenden Methode erhalten werden. Das Diagramm von 5 erläutert eine Methode gemäß der vorliegenden Erfindung zum Berechnen des der unendlichen Distanz entsprechenden Punkts &khgr;. Zuerst wird zur Identifizierung des der unendlichen Distanz entsprechenden Punkts &khgr; ein spezieller Bildschirm 21 an einer vorbestimmten Position vor dem Stereokamerasystem 1 angeordnet. Auf diesem Bildschirm 21 sind sechs Vertikallinien gezogen, wobei ein Abstand zwischen den benachbarten Vertikallinien gleich einer Länge der Grundlinie des Stereokamerasystems 1 oder einem Abstand zwischen der rechten Kamera 2a und der linken Kamera 2b gemacht ist. Die einzelnen Vertikallinien werden numeriert, um ihre Identifizierung zu ermöglichen. Dabei wird die äußerst rechte Vertikallinie auf dem Bildschirm mit "Vergleich Nr. 1" numeriert, und ausgehend davon wird der Rest der Vertikallinien nacheinander mit "Vergleich Nr. 2" bis "Vergleich Nr. 5" numeriert. Ferner wird die zweite Vertikallinie von der rechten Seite des Bildschirms mit "Referenz Nr. 1" numeriert, und ausgehend davon wird der Rest der Vertikallinien nacheinander mit "Referenz Nr. 2" bis "Referenz Nr. 5" numeriert. Der Bildschirm 21 wird auf solche Weise positioniert, daß die Vertikallinie "Referenz Nr. 3" in der Mitte eines fotografischen Bilds (Referenzbilds) zu sehen ist, wenn der Bildschirm 21 von der rechten Kamera 2a fotografiert wird. Infolgedessen ist die Vertikallinie "Vergleich Nr. 3" in der Mitte eines fotografischen Bilds (Vergleichsbilds) zu sehen, das von der linken Kamera 2b aufgenommen ist.

Wenn dieser Bildschirm 21 mit dem Stereokamerasystem 1 fotografiert wird, werden fotografische Bilder, wie sie in 6 zu sehen sind, unter Idealbedingungen erhalten. Unter dieser Bedingung sind die Positionen der Vertikallinien "Vergleich Nr. 1" bis "Vergleich Nr. 5", die auf dem Vergleichsbild gezeigt sind, vollkommen koinzident mit den Positionen der entsprechenden Vertikallinien "Referenz Nr. 1" bis "Referenz Nr. 5", die auf dem Referenzbild gezeigt sind. Der Abstand zwischen den einzelnen Vertikallinien ist gleich der Länge der Grundlinie des Stereokamerasystems 1 gemacht. Gemäß den Eigenschaften des Stereoverfahrens entsprechen daher die jeweiligen Vertikallinien "Vergleich Nr. 1" bis "Vergleich Nr. 5" auf dem Vergleichsbild den der unendlichen Distanz entsprechenden Punkten &khgr; an den jeweiligen Positionen (ihre Abweichung ist 0 in diesem Fall).

Wenn es irgendeinen Einfluß von Änderungen der Brennweite oder eine Objektivverzeichnung der rechten und linken Kamera 2a, 2b oder einen Fehler in horizontalen Positionen der rechten und linken Kamera 2a, 2b gibt, werden die in 6 gezeigten fotografischen Bilder nicht erhalten. Das Diagramm von 7 zeigt fotografische Bilder, die in einem Fall erhalten wurden, in dem die Brennweite der linken Kamera 2b kleiner als die Brennweite der rechten Kamera 2a ist (wobei die linke Kamera 2b stärker weitwinklig ist). In diesem Fall ist das gezeigte Vergleichsbild in der Horizontalrichtung verkleinert und auf das Zentrum des Bilds zentriert. Daher sind die Vertikallinien "Vergleich Nr. 1" und "Vergleich Nr. 2" gegenüber denjenigen unter der Idealbedingung nach rechts verschoben, wogegen die Vertikallinien "Vergleich Nr. 4" und "Vergleich Nr. 5" gegenüber denjenigen unter der Idealbedingung nach links verschoben sind. Aus diesem Grund liegt ein Objekt (das eine endliche Distanz hat), das auf den einzelnen Vertikallinien "Referenz Nr. 1" bis "Referenz Nr. 5" gezeigt ist, immer rechts von den Positionen ihrer entsprechenden Vertikallinien "Vergleich Nr. 1" bis "Vergleich Nr. 5" (d. h. den der unendlichen Distanz entsprechenden Punkten &khgr;).

Das Diagramm von 8 zeigt fotografische Bilder, die in einem Fall erhalten sind, in dem die Brennweite der linken Kamera 2b kleiner als die Brennweite der rechten Kamera 2a ist und das Objektiv der linken Kamera 2b start verzerrt ist. Da die genannten Faktoren in der Praxis häufig in Kombination vorliegen, gibt es viele Fälle, in denen die in 8 gezeigten fotografischen Bilder erhalten werden. Anders als im Fall von 7 ist im vorliegenden Fall die Abweichung der jeweiligen Vertikallinien "Vergleich Nr. 1" bis "Vergleich Nr. 5" nicht nur in Abhängigkeit von dem horizontalen Ort, sondern auch von dem vertikalen Ort veränderlich. Das heißt, die Abweichung der der unendlichen Distanz entsprechenden Punkts &khgr; ändert sich in Abhängigkeit von dem vertikalen Ort in den Bildbereichen.

Die Abweichung des der unendlichen Distanz entsprechenden Punkts &khgr; für jeden Ort in dem Bildbereich wird bestimmt, und der der Abweichung entsprechende Korrekturwert PS wird für jeden Ort individuell eingestellt, wie oben erläutert wurde. Das Diagramm von 9 zeigt eine Beziehung zwischen Referenzkoordinatenpunkten (Koordinatenpunkten von Referenzpixelblöcken) und Korrekturwerten PS. Wenn die der unendlichen Distanz entsprechenden Punkte &khgr; mit ihren jeweiligen Referenzkoordinatenpunkten X über die gesamten Horizontalkoordinaten an den Bildern koinzident sind, wie 6 zeigt, wird der Korrekturwert PS mit 0 eingestellt, wie ein Symbol "a" in 9 zeigt. Wenn dagegen die Vertikallinien "Referenz Nr. 1 ", "Referenz Nr. 2", "Referenz Nr. 4" und "Referenz Nr. 5" zu der zentralen Vertikallinie "Referenz Nr. 3" hin verschoben sind, wie 7 zeigt, wird der Korrekturwert PS derart eingestellt, daß er mit einem Anstieg des Horizontalkoordinatenwerts linear kleiner wird, wie ein Symbol "b" in 9 zeigt. Ferner werden unter in 8 gezeigten Bedingungen Korrekturwerte PS derart eingestellt, daß sie mit einem Anstieg des Horizontalkoordinatenwerts nichtlinear kleiner werden, wie ein Symbol "c" in 9 zeigt. Eine Kurve "c" in 9 zeigt die Korrekturwerte PS für die gleiche vertikale Koordinate. Wenn ferner eine Abweichung in einer Gierrichtung zwischen der rechten und der linken Kamera 2a, 2b existiert, werden in 9 gezeigte Charakteristiken in einer Vertikalrichtung verschoben.

Es ist möglich, die Abweichung der der unendlichen Distanz entsprechenden Punkte &khgr; in bezug auf die Referenzkoordinatenpunkte zu bestimmen durch Messen der Abweichung von entsprechenden Vertikallinien "Vergleich Nr. 1" bis "Vergleich Nr. 5" in bezug auf Vertikallinien "Referenz Nr. 1" bis "Referenz Nr. 5", wie oben erläutert wurde. Wie bisher beschrieben wurde, existiert das korrelierte Ziel eines gegebenen Referenzpixelblocks PB immer rechts von der entsprechende Vertikallinien "Vergleich Nr. 1 ", die dem der unendlichen Distanz entsprechenden Punkt &khgr; entspricht. Daher sollte der Korrekturwert PS auf einen Suchpunkt SAD eingestellt werden, der immer dieses der unendlichen Distanz entsprechenden Punkt &khgr; einschließt.

Es ist möglich, einen geeigneten Suchbereich für jeden Referenzpixelblock einzustellen durch Korrektur des Orts des Suchbereichs entsprechend der Abweichung eines der unendlichen Distanz entsprechenden Punkts in bezug auf einen Referenzkoordinatenpunkt des Referenzpixelblocks, wie oben bei der Erfindung erläutert wurde. Daher ist es nicht erforderlich, einen großen Spielraum für den Suchbereich unter Berücksichtigung einer maximalen Abweichung des der unendlichen Distanz entsprechenden Punkts einzustellen, wie oben beschrieben wird. Da eine Erweiterung des Suchbereichs infolgedessen vermieden werden kann, ist es möglich, eine Zunahme der rechnerischen Komplexität zu vermeiden, die für den Stereoabgleich erforderlich ist. Da ferner die Gefahr eines Fehlabgleichs herabgesetzt werden kann, indem die Erweiterung des Suchbereichs vermieden wird, kann eine Verschlechterung der Zuverlässigkeit von Distanzdaten verhindert werden.

Die derzeit bevorzugte Ausführungsform der vorliegenden Erfindung wurde gezeigt und beschrieben; es versteht sich, daß diese Offenbarung nur der Erläuterung dient und verschiedene Änderungen und Modifikationen vorgenommen werden können, ohne vom Umfang der Erfindung gemäß den beigefügten Ansprüchen abzuweichen.


Anspruch[de]
Stereoabgleichvorrichtung, die Folgendes aufweist:

ein Stereokamerasystem zum Aufnehmen von Bildern eines vorbestimmten Bereichs und zum Erzeugen von ersten und zweiten Bildern des vorbestimmten Bereichs;

einen Speicher zum Speichern von ersten Bilddaten innerhalb eines Referenzpixelbereichs in dem ersten Bild und von zweiten Bilddaten auf einer Horizontallinie in dem zweiten Bild, wobei die Horizontallinie einer Vertikalposition des Referenzpixelbereichs in dem ersten Bild entspricht;

einen Adressgenerator zum Einstellen eines Suchbereichs für den Stereoabgleich und für das Anweisen des Lesens eines Teils der zweiten Bilddaten, der innerhalb des Suchbereichs ist, und der ersten Bilddaten innerhalb des Referenzpixelbereichs aus dem Speicher; und

eine Stereoabgleicheinheit zum Identifizieren eines korrelierten Ziels des Referenzpixelbereichs durch den Stereoabgleich auf der Basis des Teils der zweiten Bilddaten, der innerhalb des Suchbereichs ist, und der ersten Bilddaten innerhalb des Referenzpixelbereichs, die aus dem Speicher gelesen weiden, und zum Berechnen einer Parallaxe des Referenzpixelbereichs auf der Basis des korrelierten Ziels des Referenzpixelbereichs, dadurch gekennzeichnet, dass

der Adressgenerator so angeordnet ist, dass er einen Ort des Suchbereichs für den Referenzpixelbereich auf der Basis des Grads der Abweichung eines der unendlichen Distanz entsprechenden Punkts in Bezug auf eine horizontale Position des Referenzpixelbereichs korrigiert.
Stereoabgleichvorrichtung nach Anspruch 1, wobei der Adressgenerator den Ort des Suchbereichs in die gleiche Richtung verschiebt wie eine Richtung der Abweichung des der unendlichen Distanz entsprechenden Punkts in Bezug auf die horizontale Position des Referenzpixelbereichs. Stereoabgleichvorrichtung nach Anspruch 2, wobei der Adressgenerator einen Startpunkt des Suchbereichs in die gleiche Richtung verschiebt wie die Richtung der Abweichung des der unendlichen Distanz entsprechenden Punkts. Stereoabgleichvorrichtung nach Anspruch 2, wobei der Adressgenerator einen Endpunkt des Suchbereichs in die gleiche Richtung verschiebt wie die Richtung der Abweichung des der unendlichen Distanz entsprechenden Punkts. Stereoabgleichvorrichtung nach einem der Ansprüche 1 bis 4, wobei der Adressgenerator den Korrekturgrad des Suchbereichs in Bezug auf den Abweichungsgrad des der unendlichen Distanz entsprechenden Punkts identifiziert. Stereoabgleichvorrichtung nach Anspruch 2, die ferner aufweist:

einen Korrekturwertspeicher zum Speichern eines Korrekturwerts für die Korrektur des Orts des Suchbereichs in Bezug auf einen Ort des Referenzpixelbereichs in dem ersten Bild;

wobei der Adressgenerator den Ort des Suchbereichs für den Referenzpixelbereich auf der Basis des Orts des Referenzpixelbereichs und des Korrekturwerts einstellt, der in dem Korrekturwertspeicher für den Ort des Referenzpixelbereichs gespeichert ist.
Stereoabgleichvorrichtung nach Anspruch 3, die ferner aufweist:

einen Korrekturwertspeicher zum Speichern eines Korrekturwerts für die Korrektur des Orts des Suchbereichs in Bezug auf einen Ort des Referenzpixelbereichs in dem ersten Bild;

wobei der Adressgenerator den Startpunkt des Suchbereichs für den Referenzpixelbereich auf der Basis des Orts des Referenzpixelbereichs und des Korrekturwerts einstellt, der in dem Korrekturwertspeicher für den Ort des Referenzpixelbereichs gespeichert ist.
Stereoabgleichvorrichtung nach Anspruch 1, wobei das Stereokamerasystem ein Paar von Stereokameras aufweist, die an einem Fahrzeug angebracht sind, wobei das Paar von Stereokameras Bilder von Szenen außerhalb des Fahrzeugs aufnimmt, und die Stereoabgleicheinheit eine Distanz zu einem Objekt außerhalb des Fahrzeugs auf der Basis der Parallaxe des Referenzpixelbereichs berechnet. Stereoabgleichverfahren, das die folgenden Schritte aufweist:

Aufnehmen von Bildern eines vorbestimmten Bereichs und Erzeugen von ersten und zweiten Bildern des vorbestimmten Bereichs;

Identifizieren eines Referenzpixelbereichs in dem ersten Bild;

Identifizieren eines Suchbereichs für den Referenzpixelbereich in dem zweiten Bild;

Korrigieren eines Orts des Suchbereichs für den Referenzpixelbereich auf der Basis des Grads der Abweichung eines der unendlichen Distanz entsprechenden Punkts in Bezug auf eine horizontale Position des Referenzpixelbereichs; und

Identifizieren eines korrelierten Ziels des Referenzpixelbereichs mittels Durchsuchen des Suchbereichs.
Stereoabgleichverfahren nach Anspruch 9, wobei der Schritt des Korrigierens des Orts des Suchbereichs den Ort des Suchbereichs in die gleiche Richtung verschiebt wie die Richtung der Abweichung des der unendlichen Distanz entsprechenden Punkts in Bezug auf die horizontale Position des Referenzpixelbereichs. Stereoabgleichverfahren nach Anspruch 10, wobei der Schritt des Korrigierens des Orts des Suchbereichs einen Startpunkt des Suchbereichs in die gleiche Richtung verschiebt wie die Richtung der Abweichung des der unendlichen Distanz entsprechenden Punkts in Bezug auf die horizontale Position des Referenzpixelbereichs. Stereoabgleichverfahren nach Anspruch 10, wobei der Schritt des Korrigierens des Orts des Suchbereichs einen Endpunkt des Suchbereichs in die gleiche Richtung verschiebt wie die Richtung der Abweichung des der unendlichen Distanz entsprechenden Punkts in Bezug auf die horizontale Position des Referenzpixelbereichs. Stereoabgleichverfahren nach einem der Ansprüche 9 bis 12, wobei der Schritt des Korrigierens des Orts des Suchbereichs den Ort des Suchbereichs mit einem Korrekturwert korrigiert, welcher der Abweichung des der unendlichen Distanz entsprechenden Punkts entspricht. Stereoabgleichverfahren nach Anspruch 9, das ferner den folgenden Schritt aufweist:

Berechnen einer Distanz zu einem Objekt außerhalb eines Fahrzeugs auf der Basis des korrelierten Ziels des Referenzpixelbereichs,

wobei der Schritt des Aufnehmens von Bildern des vorbestimmten Bereichs Bilder von Szenen außerhalb des Fahrzeugs aufnimmt.
Stereoabgleichverfahren nach Anspruch 9, das ferner die folgenden Schritte aufweist:

Aufnehmen eines von dem Bildschirm gelieferten Bilds des vorbestimmten Bereichs unter Verwendung eines Paars von Stereokameras und Erzeugen von dritten und vierten Bildern des Bildschirms, wobei der Bildschirm eine erste Vertikallinie und eine zweite Vertikallinie in einem Abstand anzeigt, der gleich einer Grundlinie der Stereokameras ist;

Identifizieren einer Abweichung einer Position der zweiten Vertikallinie, die auf dem vierten Bild gezeigt ist, in Bezug auf eine Position der ersten Vertikallinien, die auf dem dritten Bild gezeigt ist; und

Berechnen eines der unendlichen Distanz entsprechenden Punkts, der jeder Position an der auf dem dritten Bild gezeigten ersten Vertikallinie entspricht, auf der Basis der Abweichung der Position der zweiten Vertikallinie,

wobei der Schritt des Korrigierens des Orts des Suchbereichs den so berechneten der unendlichen Distanz entsprechenden Punkt als den der unendlichen Distanz entsprechenden Punkt nutzt, welcher der horizontalen Position des Referenzpixelbereichs entspricht.
Verfahren zum Berechnen eines der unendlichen Distanz entsprechenden Punkts, der in einem Stereoabgleichverfahren nach Anspruch 9 genutzt wird, wobei das Verfahren die folgenden Schritte aufweist:

Aufnehmen eines Bilds eines Bildschirms unter Verwendung eines Paars von Stereokameras und Erzeugen von dritten und vierten Bildern des Bildschirms, wobei der Bildschirm eine erste Vertikallinie und eine zweite Vertikallinie in einem Abstand anzeigt, der gleich einer Grundlinie der Stereokameras ist;

Identifizieren einer Abweichung einer Position der zweiten Vertikallinie, die auf dem vierten Bild gezeigt ist, in Bezug auf eine Position der ersten Vertikallinie, die auf dem dritten Bild gezeigt ist; und

Berechnen für jede Position an der ersten Vertikallinie, die auf dem dritten Bild gezeigt ist, eines entsprechenden der unendlichen Distanz entsprechenden Punkts auf der Basis der Abweichung der Position der zweiten Vertikallinie.
Stereoabgleichvorrichtung nach Anspruch 1, die aufweist:

eine Referenzpixelbereich-Identifizierungseinheit zum Identifizieren eines Referenzpixelbereichs in dem ersten Bild,

eine Suchbereich-Identifizierungseinheit zum Identifizieren eines Suchbereichs für den Referenzpixelbereich in dem zweiten Bild;

eine Korrektureinheit, die den Adressgenerator aufweist, zum Korrigieren eines Orts des Suchbereichs für den Referenzpixelbereich auf der Basis des Grads der Abweichung des der unendlichen Distanz entsprechenden Punkts in Bezug auf die horizontale Position des Referenzpixelbereichs;

und eine Identifizierungseinheit für ein korreliertes Ziel, um ein korreliertes Ziel des Referenzpixelbereichs mittels Durchsuchen des Suchbereichs zu identifizieren.






IPC
A Täglicher Lebensbedarf
B Arbeitsverfahren; Transportieren
C Chemie; Hüttenwesen
D Textilien; Papier
E Bauwesen; Erdbohren; Bergbau
F Maschinenbau; Beleuchtung; Heizung; Waffen; Sprengen
G Physik
H Elektrotechnik

Anmelder
Datum

Patentrecherche

Patent Zeichnungen (PDF)

Copyright © 2008 Patent-De Alle Rechte vorbehalten. eMail: info@patent-de.com