PatentDe  


Dokumentenidentifikation DE102007011616A1 31.10.2007
Titel Fahrzeugumgebung-Überwachungsgerät
Anmelder Honda Motor Co., Ltd., Tokyo, JP
Erfinder Nagaoka, Nobuharu, Wako, Saitama, JP;
Tsuji, Takayuki, Wako, Saitama, JP;
Sugimoto, Yoichi, Wako, Saitama, JP;
Nishigaki, Morimichi, Wako, Saitama, JP
Vertreter Weickmann & Weickmann, 81679 München
DE-Anmeldedatum 09.03.2007
DE-Aktenzeichen 102007011616
Offenlegungstag 31.10.2007
Veröffentlichungstag im Patentblatt 31.10.2007
IPC-Hauptklasse G08G 1/16(2006.01)A, F, I, 20070726, B, H, DE
IPC-Nebenklasse B60W 30/08(2006.01)A, L, I, 20070726, B, H, DE   G06K 9/62(2006.01)A, L, I, 20070726, B, H, DE   
Zusammenfassung Ein Fahrzeugumgebungs-Überwachungsgerät, welches in der Lage ist, mit hoher Zuverlässigkeit einen Objekttyp zu unterscheiden und zu bestimmen, insbesondere ein Fahrzeugumgebungs-Überwachungsgerät, welches in der Lage ist, ein Objekt mit hoher Zuverlässigkeit zu bestimmen, indem es unter den Objekten zwischen einem Fußgänger und anderen Objekten unterscheidet. Das Fahrzeugumgebungs-Überwachungsgerät detektiert aus von auf dem Fahrzeug (10) montierten Kameras (2R und 2L) erhaltenen Bildern ein um ein Fahrzeug (10) herum vorhandenes Objekt und schließt eine Objektextraktions-Verarbeitungseinheit (Schritte 1 bis 9) ein, die ein Objekt aus dem Bild extrahiert, eine Breitenberechnungs-Verarbeitungseinheit (Schritte 101 bis 104), die in einer Mehrzahl von in vertikalen Intervallen des in der Objektextraktionsverarbeitung extrahierten Objekts beabstandeten Höhenpositionen Breiten des Objekts berechnet, und eine Objekttypbestimmungs-Verarbeitungseinheit (Schritt 105), die auf der Grundlage der von der Breitenberechnungs-Verarbeitungseinheit berechneten Breiten den Typ des Objekts bestimmt.

Beschreibung[de]
HINTERGRUND DER ERFINDUNG Gebiet der Erfindung

Die vorliegende Erfindung bezieht sich auf ein Fahrzeugumgebungs-Überwachungsgerät, welches ein Objekt erkennt, das die Fahrt eines Fahrzeugs beeinträchtigt.

Verwandter Stand der Technik

Herkömmlicherweise hat man für diesen Typ von Fahrzeugumgebungs-Überwachungsgerät einen Anzeigenprozessor vorgeschlagen, der aus einem von einer Infrarotkamera aufgenommenen Bild der Fahrzeugumgebung ein wahrscheinlich mit einem Fahrzeug kollidierendes Objekt, wie beispielsweise einen Fußgänger, extrahiert und einem Fahrzeuglenker visuell Informationen bereitstellt (siehe beispielsweise die japanische Patentoffenlegungsschrift Nr. Hei 11(1999)-328364).

Dieses Gerät sucht nach einer Fläche hoher Helligkeit, indem es ein Infrarotbild in Binärdarstellung überträgt, und bestimmt aus Kopfbestimmungsbedingungen, wie beispielsweise einer Schwerpunktposition, einem Flächenverhältnis oder einer Nettofläche der Fläche hoher Helligkeit im Infrarotbild, ob die Fläche hoher Helligkeit den Kopf eines Fußgängers darstellt. Nach dem Bestimmen der Fläche des Fußgängerkopfs setzt das Gerät dann eine einen Fußgängerkörper einschließende Fläche fest und zeigt diese Flächen von anderen Flächen getrennt an. Dadurch wird die Position des gesamten Fußgängerkörpers im Infrarotbild identifiziert und wird dem Fahrzeuglenker die Informationen zur visuellen Hilfe angezeigt.

Wenn die Übertragung in Binärdarstellung bei einem Infrarotbild eines um das Fahrzeug herum vorhandenen Baums vorgenommen wird, kann die Höhe (die Länge in der Vertikalrichtung) der Fläche hoher Helligkeit unter dem Einfluss der Blätter des Baums in einigen Fällen jedoch beinahe gleich der Höhe des Fußgängers sein. Daher kann der Baum die vorstehenden Kopfbestimmungsbedingungen der Schwerpunktposition, des Flächenverhältnisses und der Nettofläche im Infrarotbild erfüllen und fälschlicherweise als Fußgänger bestimmt werden.

Wie vorstehend beschrieben, kann das herkömmliche Fahrzeugumgebungs-Überwachungsgerät den Objekttyp oft nicht richtig unterscheiden und bestimmen.

Angesichts des vorstehenden Problems ist es eine Aufgabe der vorliegenden Erfindung, ein Fahrzeugumgebungs-Überwachungsgerät vorzusehen, welches in der Lage ist, den Objekttyp mit hoher Zuverlässigkeit zu unterscheiden und zu bestimmen, insbesondere ein Fahrzeugumgebungs-Überwachungsgerät vorzusehen, welches in der Lage ist, ein Objekt mit hoher Zuverlässigkeit zu bestimmen, indem es unter den Objekten zwischen einem Fußgänger und anderen Objekten unterscheidet.

ABRISS DER ERFINDUNG

Der vorliegende Erfinder hat sich auf Vertikalbreiten eines Objekts konzentriert und hat erkannt, dass die Breiten des Objekts je nach Objekttyp in der Vertikalrichtung des Objekts charakteristische Änderungen zeigen. Falls das Objekt beispielsweise eine Person ist, ist die Breite in der mittleren Höhenposition des Objekts im Allgemeinen größer als die Breite in der oberen Höhenposition des Objekts, und ist die Breite in der unteren Höhenposition kleiner als die Breite in der mittleren Höhenposition. Falls das Objekt andererseits ein Baum ist, gibt es bei der Breite in der oberen Höhenposition, in der mittleren Höhenposition und in der unteren Höhenposition im Allgemeinen keine Änderung, oder nimmt die Breite in der Richtung von der oberen Höhenposition zu der unteren Höhenposition zu.

Gemäß einem Gesichtspunkt der vorliegenden Erfindung ist daher ein Fahrzeugumgebungs-Überwachungsgerät vorgesehen, welches auf Grundlage eines von einer auf dem Fahrzeug montierten Kamera aufgenommenen Bilds eine Umgebung eines Fahrzeugs überwacht, umfassend: eine Objektextraktions-Verarbeitungseinheit, die ein Objekt aus dem Bild extrahiert; eine Breitenberechnungs-Verarbeitungseinheit, die in einer Mehrzahl von in vertikalen Intervallen des Objekts beabstandeten Höhenpositionen Breiten des von der Objektextraktions-Verarbeitungseinheit extrahierten Objekts berechnet; und eine Objekttypbestimmungs-Verarbeitungseinheit, die auf Grundlage der von der Breitenberechnungs-Verarbeitungseinheit berechneten Breiten den Typ des Objekts bestimmt.

Gemäß dem Fahrzeugumgebungs-Überwachungsgerät der vorliegenden Erfindung werden die Breiten des Objekts in der Mehrzahl von in vertikalen Intervallen des Objekts beabstandeten Höhenpositionen des von der Objektextraktions-Verarbeitungseinheit aus dem Bild extrahierten Objekts berechnet, und wird der Typ des Objekts auf Grundlage der in der Mehrzahl von Höhenpositionen berechneten Breiten des Objekts bestimmt. In dieser Situation sind die Breiten gemäß dem Typ des Objekts in der Mehrzahl von Höhenpositionen charakteristisch. Daher kann das Fahrzeugumgebungs-Überwachungsgerät der vorliegenden Erfindung den Typ des Objekts mit hoher Zuverlässigkeit bestimmen, indem es den Typ des Objekts auf Grundlage der Charakteristiken der Breite in der Mehrzahl von Höhenpositionen bestimmt.

Außerdem berechnet die Breitenberechnungs-Verarbeitungseinheit bei dem Fahrzeugumgebungs-Überwachungsgerät der vorliegenden Erfindung die Breite eines Abschnitts hoher Helligkeit, dessen Helligkeitswert in jeder der Höhenpositionen größer oder gleich einem vorbestimmten Wert im Bild des Objekts ist, als Breite des Objekts in der Höhenposition.

Gemäß dem Fahrzeugumgebungs-Überwachungsgerät der vorliegenden Erfindung werden die von der Breitenberechnungs-Verarbeitungseinheit berechneten Breiten des Objekts in der Mehrzahl von Höhenpositionen als Breiten von Abschnitten hoher Helligkeit berechnet, deren Helligkeitswerte in den Höhenpositionen größer oder gleich einem vorbestimmten Wert sind. Es sollte hier beachtet werden, dass der vorbestimmte Wert für den Helligkeitswert in jeder Höhenposition beispielsweise ein Mittelwert von Helligkeitswerten in der Höhenposition sein kann oder jeder andere, auf Grundlage der Intensitätsverteilung der Helligkeitswerte relativ bestimmte Wert. Dadurch wird es möglich, den vorbestimmten Wert gemäß der Helligkeitsverteilung der Höhenposition zu bestimmten, um die Breite des Abschnitts hoher Helligkeit, dessen Helligkeitswert größer oder gleich einem vorbestimmten Wert ist, auf Grundlage des vorbestimmten Wert als Breite des Objekts zu detektieren. Daher kann die Breite des Objekts mit einer gewissen Zuverlässigkeit leicht berechnet werden.

Alternativ detektiert die Breitenberechnungs-Verarbeitungseinheit bei dem Fahrzeugumgebungs-Überwachungsgerät der vorliegenden Erfindung in jeder der Höhenpositionen im Bild des Objekts ein Paar von vertikalen Rändern des Objekts und berechnet eine Breite zwischen den vertikalen Rändern als die Breite des Objekts in der Höhenposition.

Gemäß dem Fahrzeugumgebungs-Überwachungsgerät der vorliegenden Erfindung wird jede der von der Breitenberechnungs-Verarbeitungseinheit berechneten Breiten des Objekts in der Mehrzahl von Höhenpositionen als Breite zwischen den vertikalen Rändern des Objekts in jeder Höhenposition berechnet. Selbst wenn das Objekt in einer der Höhenpositionen beispielsweise als Abschnitt niedriger Helligkeit detektiert wird, dessen Helligkeitswert kleiner oder gleich einem vorbestimmten Wert ist, kann die Breite des Objekts dadurch in jeder Breitenberechnungsposition ordnungsgemäß berechnet werden.

Außerdem bestimmt die Objekttypbestimmungs-Verarbeitungseinheit bei dem Fahrzeugumgebungs-Überwachungsgerät der vorliegenden Erfindung den Typ des Objekts mittels Unterscheiden zwischen einem Fußgänger oder anderen Objekten, und wird das Objekt in dem Fall, in welchem die von der Breitenberechnungs-Verarbeitungseinheit berechneten Breiten in den Höhenpositionen mit fallenden Höhenpositionen ansteigen, oder falls die Breiten in den Höhenpositionen zueinander ungefähr gleich sind, als ein von einem Fußgänger verschiedenes Objekt bestimmt.

Falls die von der Breitenberechnungs-Verarbeitungseinheit berechneten Breiten in den vertikalen Höhenpositionen des Objekts mit fallenden Höhenpositionen ansteigen oder falls die Breiten in den Höhenpositionen zueinander ungefähr gleich sind, wird das Objekt gemäß dem Fahrzeugumgebungs-Überwachungsgerät der vorliegenden Erfindung als ein von einem Fußgänger verschiedenes Objekt bestimmt. Man beachte hier, dass der Ausdruck, wie beispielsweise "falls die Breiten in den Höhenpositionen zueinander ungefähr gleich sind" "falls der Unterschied zwischen den Breiten in den Höhenpositionen innerhalb eines vorbestimmten Bereichs liegt" bedeutet, und dass die Breite als im Wesentlichen gleich wie in jeder anderen Höhenposition betrachtet wird. Falls die Breiten in den vertikalen Höhenpositionen des Objekts mit fallenden Höhenpositionen ansteigen oder falls die Breiten in den Höhenpositionen zueinander ungefähr gleich sind (beispielsweise ein um ein Fahrzeug herum vorhandener Baum bzw. Stromversorgungsmast), wird das Objekt als ein von einem Fußgänger verschiedenes Objekt bestimmt. Daher ist es möglich, ein Objekt mit hoher Zuverlässigkeit zu bestimmen, indem unter den aus den Bildern extrahierten Objekten zwischen einen Fußgänger und anderen Objekten unterschieden wird.

Außerdem schließt die Mehrzahl der Höhenpositionen bei dem Fahrzeugumgebungs-Überwachungsgerät der vorliegenden Erfindung wenigstens drei Höhenpositionen im oberen Teil, im mittleren Teil und im unteren Teil des Objekts ein, und bestimmt die Objekttypbestimmungs-Verarbeitungseinheit, die den Typ des Objekts mittels Unterscheiden zwischen einem Fußgänger oder anderen Objekten bestimmt, das Objekt in dem Fall als Fußgänger, in welchem unter den von der Breitenberechnungs-Verarbeitungseinheit berechneten Breiten die Breite in der mittleren Höhenposition des Objekts größer ist als die Breite in der oberen Höhenposition und die Breite in der unteren Höhenposition.

In dem Fall, in welchem die Breiten des Objekts in der Mehrzahl von Höhenpositionen wenigstens drei Positionen im oberen Teil, im mittleren Teil und im unteren Teil des Objekts einschließen, wird das Objekt gemäß dem Fahrzeugumgebungs-Überwachungsgerät der vorliegenden Erfindung als ein eine Charakteristik eines Fußgänger aufweisendes Objekt betrachtet, falls die Breite in der mittleren Höhenposition des Objekts größer ist als die Breite in der oberen Höhenposition und die Breite in der unteren Höhenposition, und wird dieses als Fußgänger bestimmt. Daher ist es möglich, das Objekt mit hoher Zuverlässigkeit zu bestimmen, indem unter den aus den Bildern extrahierten Objekten zwischen einem Fußgänger und anderen Objekten unterschieden wird.

Außerdem bestimmt die Objekttypbestimmungs-Verarbeitungseinheit bei dem Fahrzeugumgebungs-Überwachungsgerät der vorliegenden Erfindung dann ein Objekt als ein von einem Fußgänger verschiedenes Objekt, wenn eine Bedingung zur Bestimmung des Objekts als Fußgänger nicht erfüllt wird, wobei angenommen wird, dass die Bedingung darin besteht, dass unter den von der Breitenberechnungs-Verarbeitungseinheit berechneten Breiten die Breite in der mittleren Höhenposition des Objekts größer ist als die Breite in der oberen Höhenposition und die Breite in der unteren Höhenposition.

Gemäß dem Fahrzeugumgebungs-Überwachungsgerät der vorliegenden Erfindung wird bestimmt, ob das Objekt ein von einem Fußgänger verschiedenes Objekt ist, wobei angenommen wird, dass die Bedingung zur Bestimmung des Objekts als Fußgänger darin besteht, dass unter den Breiten des Objekts in der Mehrzahl von Höhenpositionen die Breite in der mittleren Höhenposition des Objekts größer ist als die Breite in der oberen Höhenposition und die Breite in der unteren Höhenposition. Das Objekt, welches die Bedingung nicht erfüllt, wird als ein von einem Fußgänger verschiedenes Objekt betrachtet, wodurch es möglich ist, das Objekt mit hoher Zuverlässigkeit zu bestimmen, indem unter den aus den Bildern extrahierten Objekten zwischen einem Fußgänger und anderen Objekten unterschieden wird.

Darüber hinaus schließt das Fahrzeugumgebungs-Überwachungsgerät der vorliegenden Erfindung ferner eine Warnungsverarbeitungseinheit ein, die aus den von der Objektextraktions-Verarbeitungseinheit extrahierten Objekten Warnungsziele bestimmt und für einen Fahrzeuglenker Warnungen bezüglich der Warnungsziele ausgibt, und lässt die Warnungsverarbeitungseinheit das Objekt aus den Warnungszielen weg, falls die Objekttypbestimmungs-Verarbeitungseinheit das Objekt als ein von einem Fußgänger verschiedenes Objekt bestimmt.

Falls das Fahrzeugumgebungs-Überwachungsgerät die Warnungsverarbeitungseinheit einschließt und die Objekttypbestimmungs-Verarbeitungseinheit das aus dem Bild extrahierte Objekt als ein von einem Fußgänger verschiedenes Objekt bestimmt, wird das Objekt erfindungsgemäß aus den Warnungszielen der Warnungsverarbeitungseinheit weggelassen. Dadurch kann die Warnungsverarbeitungseinheit eine unnötige Warnungsausgabe verhindern, falls das Objekt ein von einem Fußgänger verschiedenes Objekt ist.

Gemäß einem anderen Gesichtspunkt der vorliegenden Erfindung ist ein Fahrzeugumgebungs-Überwachungsgerät vorgesehen, welches einen Computer aufweist, welcher eine Schnittstellenschaltung zum Zugriff auf ein von einer auf einem Fahrzeug montierten Kamera erhaltenes Bild einschließt, und welches mittels des Computers einen um das Fahrzeug vorhandenen Materialkörper detektiert, wobei der Computer ausführt: eine Objektextraktionsverarbeitung, um ein Objekt aus dem Bild zu extrahieren; eine Breitenberechnungsverarbeitung, um in einer Mehrzahl von in vertikalen Intervallen des Objekts beabstandeten Höhenpositionen Breiten des in der Objektextraktionsverarbeitung extrahierten Objekts zu berechnen; und eine Objekttypbestimmungsverarbeitung, um auf Grundlage der von der Breitenberechnungs-Verarbeitungseinheit berechneten Breiten den Typ des Objekts zu bestimmen.

Gemäß dem Fahrzeugumgebungs-Überwachungsgerät der vorliegenden Erfindung führt der Computer die Breitenberechnungsverarbeitung für das mittels Ausführen der Objektextraktionsverarbeitung aus dem Bild extrahierte Objekt aus, um dadurch die Breiten des Objekts in der Mehrzahl von vertikalen Höhenpositionen des Objekts zu berechnen. Danach führt der Computer die Objekttypbestimmungsverarbeitung aus, um dadurch den Typ des Objekts auf Grundlage der in der Mehrzahl von Höhenpositionen berechneten Breiten des Objekts zu bestimmen. In dieser Situation sind die Breiten in der Mehrzahl von Höhenpositionen gemäß dem Objekttyp charakteristisch. Daher kann der Objekttyp mit hoher Zuverlässigkeit bestimmt werden, indem der Objekttyp auf Grundlage der Charakteristiken der Breiten in der Mehrzahl von Höhenpositionen bestimmt wird.

Gemäß einem noch weiteren Gesichtspunkt der vorliegenden Erfindung ist ein Fahrzeugumgebungs-Überwachungsverfahren vorgesehen, um mittels eines Computers, welcher eine Schnittstellenschaltung zum Zugriff auf ein von einer auf einem Fahrzeug montierten Kamera erhaltenes Bild einschließt, einen um ein Fahrzeug herum vorhandenen Materialkörper zu detektieren, umfassend: einen Objektextraktionsschritt, in welchem der Computer ein Objekt aus dem Bild extrahiert; einen Breitenberechnungsschritt, in welchem der Computer in einer Mehrzahl von in vertikalen Intervallen des Objekts beabstandeten Höhenpositionen Breiten des in dem Objektextraktionsschritt extrahierten Objekts berechnet; und einen Objekttypbestimmungsschritt, in welchem der Computer auf Grundlage der in dem Breitenberechnungsschritt berechneten Breiten den Typ des Objekts bestimmt.

Gemäß dem Fahrzeugumgebungs-Überwachungsgerät der vorliegenden Erfindung führt der Computer den Objektextraktionsschritt und den Breitenberechnungsschritt aus, um das Objekt aus dem Bild zu extrahieren und um die Breiten des Objekts in der Mehrzahl von vertikalen Höhenpositionen des extrahierten Objekts zu berechnen. Danach führt der Computer den Objekttypbestimmungsschritt aus, um dadurch auf Grundlage der in der Mehrzahl von Höhenpositionen berechneten Breiten des Objekts den Typ des Objekts zu bestimmen. In dieser Situation sind die Breiten gemäß dem Objekttyp in der Mehrzahl von Höhenpositionen charakteristisch. Daher kann der Objekttyp mit hoher Zuverlässigkeit bestimmt werden, indem der Objekttyp auf Grundlage der Charakteristiken der Breiten in der Mehrzahl von Höhenpositionen bestimmt wird.

Schließlich ist gemäß einem noch weiteren Gesichtspunkt der vorliegenden Erfindung ein Fahrzeugumgebungs-Überwachungsprogramm vorgesehen, um mittels eines Computers, welcher eine Schnittstellenschaltung zum Zugriff auf ein von einer auf einem Fahrzeug montierten Kamera erhaltenes Bild einschließt, einen um ein Fahrzeug herum vorhandenen Materialkörper zu detektieren, wobei das Programm den Computer veranlasst auszuführen: eine Objektextraktionsverarbeitung, um ein Objekt aus dem Bild zu extrahieren; eine Breitenberechnungsverarbeitung, um in einer Mehrzahl von in vertikalen Intervallen des in der Objektextraktionsverarbeitung extrahierten Objekts beabstandeten Höhenpositionen Breiten des Objekts zu berechnen; und eine Objekttypbestimmungsverarbeitung, um auf Grundlage der in der Breitenberechnungsverarbeitung berechneten Breiten den Typ des Objekts zu bestimmen.

Das Fahrzeugumgebungs-Überwachungsprogramm der vorliegenden Erfindung wird vom Computer ausgeführt, wodurch bei dem vorstehend beschriebenen Fahrzeugumgebungs-Überwachungsgerät der vorliegenden Erfindung die Auslegung der Objektextraktions-Verarbeitungseinheit, der Breitenberechnungs-Verarbeitungseinheit und der Objekttypbestimmungs-Verarbeitungseinheit ermöglicht wird.

KURZBESCHREIBUNG DER ZEICHNUNGEN

1 ist ein Diagramm, welches eine Gesamtauslegung einer Ausführungsform eines Fahrzeugumgebungs-Überwachungsgeräts gemäß der vorliegenden Erfindung zeigt.

2 ist ein perspektivisches Diagramm eines Fahrzeugs, welches das in 1 gezeigte Fahrzeugumgebungs-Überwachungsgerät aufweist.

3 ist ein Flussdiagramm, welches die Verarbeitung einer Bildverarbeitungseinheit zeigt, die in dem in 1 gezeigten Fahrzeugumgebungs-Überwachungsgerät vorgesehen ist.

4 ist ein Flussdiagramm, welches die Verarbeitung der Bildverarbeitungseinheit zeigt, die in dem in 1 gezeigten Fahrzeugumgebungs-Überwachungsgerät vorgesehen ist.

5 ist ein Flussdiagramm, welches eine Objekttypbestimmungs-Verarbeitungseinheit dieser Ausführungsform zeigt.

6 ist ein Diagramm, welches aufgenommene Bilder dieser Ausführungsform darstellt.

7 ist ein Diagramm zur Erläuterung der Verarbeitung der Bildverarbeitungseinheit.

AUSFÜHRLICHE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN

Mit Bezug auf 1 bis 7 wird nachstehend eine bevorzugte Ausführungsform der vorliegenden Erfindung beschrieben.

Mit Bezug auf 1 und 2 wird zuerst eine Systemauslegung eines Fahrzeugumgebungs-Überwachungsgeräts gemäß dieser Ausführungsform beschrieben. 1 ist ein Blockdiagramm, welches die Gesamtauslegung des Fahrzeugumgebungs-Überwachungsgeräts zeigt, und 2 ist ein perspektivisches Diagramm, welches das Erscheinungsbild eines Fahrzeugs (Subjektfahrzeug) zeigt, welches mit dem Fahrzeugumgebungs-Überwachungsgerät versehen ist. Man beachte jedoch, dass ein Teil der Bestandteile des Fahrzeugumgebungs-Überwachungsgeräts in 2 nicht gezeigt sind.

Mit Bezug auf 1 und 2 schließt das Fahrzeugumgebungs-Überwachungsgerät gemäß dieser Ausführungsform eine Bildverarbeitungseinheit 1 ein. Die Bildverarbeitungseinheit 1 ist mit zwei Infrarotkameras 2R und 2L verbunden, die Bilder einer Ansicht vor dem Fahrzeug 10 aufnehmende Kameras sind, und ist ferner mit einem Gierratensensor 3 verbunden, der als ein einen Fahrzustand des Fahrzeugs 10 detektierender Sensor eine Gierrate des Fahrzeugs 10 detektiert, mit einem Fahrzeuggeschwindigkeitssensor 4, der eine Fahrgeschwindigkeit (Fahrzeuggeschwindigkeit) des Fahrzeugs 10 detektiert, und mit einem Bremssensor 5, der einen Bremsvorgang (insbesondere, ob ein Bremspedal betätigt wird) des Fahrzeugs 10 detektiert. Außerdem ist die Bildverarbeitungseinheit 1 mit einem Lautsprecher 6verbunden, der zum Ausgeben hörbarer Warninformationen mittels Stimme oder dergleichen verwendet wird, und mit einer Anzeigevorrichtung 7, die zum Anzeigen der von den Infrarotkameras 2R und 2L aufgenommenen Bildern oder zum Anzeigen von visuellen Warninformationen verwendet wird.

Die Bildverarbeitungseinheit 1 ist ein elektronischer Schaltkreis, der einen A/D-Wandler, einen Mikrocomputer (CPU, RAM oder ROM) und einen Bildspeicher einschließt, obschon seine ausführliche Darstellung weggelassen wird. Ausgaben (analoge Signale) der Infrarotkameras 2R und 2L, des Gierratensensors 3, des Fahrzeuggeschwindigkeitssensors 4 und des Bremssensors 5 werden digitalisiert und über den A/D-Wandler eingegeben. Dann führt die Bildverarbeitungseinheit 1 unter Verwendung des Mikrocomputers auf Grundlage der eingegebenen Daten eine Verarbeitung des Detektierens eines Objekts, wie beispielsweise einer Person (Fußgänger), oder eine Verarbeitung des Bestimmens aus, ob bezüglich des detektierten Objekts eine vorbestimmte Warnungsbedingung erfüllt ist, und, falls die Warnungsbedingung erfüllt ist, eine Verarbeitung des Ausgebens einer Warnung an den Fahrer über den Lautsprecher 6 oder die Anzeigevorrichtung 7.

Die Bildverarbeitungseinheit 1 weist gemäß der vorliegenden Erfindung die Funktionen einer Objektextraktions-Verarbeitungseinheit, einer Breitenberechnungs-Verarbeitungseinheit, einer Objekttypbestimmungs-Verarbeitungseinheit und einer Warnungsverarbeitungseinheit auf.

Wie in 2 gezeigt, sind die Infrarotkameras 2R und 2L an der Vorderseite (in dieser Figur dem Frontgrill) des Fahrzeugs 10 befestigt, um Bilder einer Ansicht vor dem Fahrzeug 10 aufzunehmen. In diesem Fall sind die Infrarotkameras 2R und 2L in der Fahrzeugbreitenrichtung rechts bzw. links von der Mitte des Fahrzeugs 10 angeordnet. Diese Positionen sind in der Fahrzeugbreitenrichtung bezüglich der Mitte des Fahrzeugs 10 symmetrisch. Darüber hinaus sind die Infrarotkameras 2R und 2L derart an der Vorderseite des Fahrzeugs 10 befestigt, dass sich ihre optischen Achsen in der Vor-Zurück-Richtung des Fahrzeugs 10 zueinander parallel erstrecken und die Höhen der optischen Achsen von der Straßenoberfläche zueinander gleich sind. Die Infrarotkameras 2R und 2L sind im Ferninfrarotbereich empfindlich und weisen dadurch die Charakteristik auf, dass, je höher die Temperatur eines abgebildeten Materialkörpers ist, desto höher der Wert des ausgegebenen Signals des Bilds ist (desto höher die Helligkeit des Bilds des Materialkörpers ist).

Außerdem weist die Anzeigevorrichtung 7 eine Head-up-Anzeigevorrichtung 7a (hinfort als HUD 7a bezeichnet) auf, die in dieser Ausführungsform auf einer Frontscheibe des Fahrzeugs 10 Informationen, wie beispielsweise ein Bild, anzeigt. Die Anzeigevorrichtung 7 kann anstelle der HUD 7a oder zusammen mit der HUD 7a eine Anzeigevorrichtung einschließen, die integral mit einem Meter versehen ist, welches eine Fahrzeuggeschwindigkeit oder andere Fahrzustände des Fahrzeugs 10 anzeigt, oder mit einer Anzeigevorrichtung, die in einem im Fahrzeug vorhandenen Navigationssystem vorgesehen ist.

Außerdem ist die Bildverarbeitungseinheit 1 eine elektronische Einheit, die einen Bildeingabeschaltkreis einschließt, welcher von den Infrarotkameras 2R und 2L ausgegebene, analoge Bildsignale in digitale Daten umwandelt und die digitalen Daten in einem Bildspeicher erfasst, und einen Computer (ein eine CPU, einen Speicher, Ein-/Ausgabeschaltkreise und dergleichen einschließender, arithmetischer Verarbeitungskreis oder ein Mikrocomputer, in welchem diese Funktionen konzentriert gesammelt sind) einschließt, der für die im Bildspeicher erfassten Bilder einer Ansicht vor dem Fahrzeug verschiedene arithmetische Verarbeitungsvorgänge ausführt und der eine Schnittstellenschaltung zum Zugriff (Lesen oder Schreiben) der im Bildspeicher erfassten Bilddaten aufweist.

Mit Bezug auf die in 3 und 4 gezeigten Flussdiagramme wird anschließend der allgemeine Betrieb des Fahrzeugumgebungs-Überwachungsgeräts gemäß dieser Ausführungsform beschrieben. Da die Verarbeitung der Flussdiagramme in 3 und 4 im Wesentlichen gleich ist wie beispielsweise jene Verarbeitung, die in 3 und 4 gezeigt ist, die in der japanischen Patentoffenlegungsschrift Nr. 2001-6096 der vorliegenden Anmelderin offenbart ist, wird die ausführliche Beschreibung der gleichen Verarbeitung in dieser Beschreibung weggelassen.

Zuerst erhält die Bildverarbeitungseinheit 1 Infrarotbilder, die Ausgabesignale der Infrarotkameras 2R und 2L sind (Schritt 1), wandelt diese mittels des A/D-Wandlers um (Schritt 2) und speichert die Bilder im Bildspeicher (Schritt 3). Dadurch werden die von den Infrarotkameras 2R und 2L aufgenommenen Bilder in der Bildverarbeitungseinheit 1 erfasst. Das von der Infrarotkamera 2R aufgenommene Bild wird hinfort als rechtes Bild bezeichnet und das von der Infrarotkamera 2L aufgenommene Bild wird hinfort als linkes Bild bezeichnet. Sowohl das rechte als auch das linke Bild sind Grauskalabilder.

Anschließend betrachtet die Bildverarbeitungseinheit 1 entweder das rechte oder das linke Bild als Standardbild und überträgt das Standardbild in Binärdarstellung (Schritt 4). In dieser Ausführungsform ist das rechte Bild das Standardbild. Bei dieser Übertragung in Binärdarstellung wird ein Helligkeitswert jedes Pixels des Standardbilds mit einem vorbestimmten Helligkeitsschwellenwert verglichen und wird ein Wert "1" (weiß) festgesetzt, falls der Helligkeitswert einer Fläche größer oder gleich einem vorbestimmten Helligkeitsschwellenwert ist (verhältnismäßig helle Fläche), und wird ein Wert "0" (schwarz) festgesetzt, falls der Helligkeitswert einer Fläche kleiner ist als der vorbestimmte Helligkeitsschwellenwert (verhältnismäßig dunkle Fläche). Das mittels Übertragen in Binärdarstellung erhaltene Bild (Schwarzweißbild) wird hinfort als Binärbild bezeichnet. Zudem wird die auf "1" festgesetzte Fläche im Binärbild als Fläche hoher Helligkeit bezeichnet. Das Binärbild wird neben den Grauskalabildern (das rechte Bild und linke Bild) im Bildspeicher gespeichert.

Anschließend führt die Bildverarbeitungseinheit 1 für das Binärbild die Verarbeitung der Schritte 5 bis 7 aus, um aus dem Binärbild ein Objekt (genauer gesagt, einen dem Objekt entsprechenden Bildabschnitt) zu extrahieren. Insbesondere unterteilt die Bildverarbeitungseinheit 1 die Pixel, welche die Fläche hoher Helligkeit des Binärbilds bilden, in sich in der Horizontalrichtung (x-Richtung) erstreckende Linien, die in der Vertikalrichtung (y-Richtung) des Standardbilds eine Breite von einem Pixel aufweisen, und wandelt jede Linie in Lauflängendaten um, die aus den Koordinaten und den Längen (Anzahl Pixel) der Position (die zweidimensionale Position im Standardbild) gebildet sind (Schritt 5). Danach wird unter den mittels der Lauflängendaten dargestellten Linien jede der einander in der Vertikalrichtung des Standardbilds überlappenden Linien mit einer Bezeichnung versehen (mit einem Identifikationsmerkmal) (Schritt 6) und wird jede der Linien als Objekt (Schritt 7) extrahiert.

Die in der Verarbeitung der Schritte 5 bis 7 extrahierten Objekte schließen im Allgemeinen sowohl künstliche Strukturen, wie beispielsweise andere Fahrzeuge, als auch eine Person (Fußgänger) ein. Zudem kann in einigen Fällen eine Mehrzahl von lokalen Abschnitten eines identischen Materialkörpers als Objekt extrahiert werden.

Anschließend berechnet die Bildverarbeitungseinheit 1 eine Schwerpunktposition (eine Position im, Standardbild) und eine Fläche von jedem, wie vorstehend beschrieben, extrahierten Objekt und das Seitenverhältnis eines das Objekt umschreibenden Rechtecks (Schritt 8). Die Schwerpunktposition jedes Objekts wird erhalten, indem die Koordinaten der Position jeder Linie (die Mittelposition jeder Linie) der im Objekt eingeschlossenen Lauflängendaten mit der Länge der Linie multipliziert wird, wobei die Ergebnisse aller Linien der im Objekt eingeschlossenen Lauflängendaten aufaddiert werden, und indem das Ergebnis der Addition durch die Fläche des Objekts dividiert wird. Anstelle der Schwerpunktposition des Objekts kann alternativ die Schwerpunktposition (Mittelposition) des das Objekt umschreibenden Rechtecks erhalten werden.

Anschließend macht die Bildverarbeitungseinheit 1 in Zeitabständen das in Schritt 7 extrahierte Objekt ausfindig, mit anderen Worten, erkennt das identische Objekt für jede arithmetische Verarbeitungsperiode der Bildverarbeitungseinheit 1 (Schritt 9). Unter der Annahme, dass in der Verarbeitung von Schritt 7 in einer gewissen arithmetischen Verarbeitungsperiode zum Zeitpunkt (Diskretzeit) k ein Objekt A extrahiert wird und dass in der nächsten arithmetischen Verarbeitungsperiode der Verarbeitung von Schritt 7 zum Zeitpunkt k + 1 ein Objekt B extrahiert wird, wird in dieser Verarbeitung die Identität der Objekte A und B bestimmt. Die Identität kann beispielsweise auf Grundlage der Gestalten und Größen der Objekte A und B im Binärbild, der Korrelation der Helligkeitsverteilung im Standardbild (Grauskalabild) oder dergleichen bestimmt werden. Falls bestimmt wird, dass die Objekte A und B zueinander identisch sind, wird danach die Bezeichnung (die in Schritt 6 hinzugefügte Bezeichnung) des zum Zeitpunkt k + 1 extrahierten Objekts B in die gleiche Bezeichnung wie diejenige des Objekts A umgeändert.

Die Verarbeitung in den Schritten 1 bis 9, die einem Objektextraktionsschritt eines Fahrzeugumgebungs-Überwachungsverfahrens gemäß der vorliegenden Erfindung entspricht, wird mittels einer Objektextraktions-Verarbeitungseinheit ausgeführt, die dadurch konfiguriert ist, dass der in der Bildverarbeitungseinheit 1 vorgesehene Computer veranlasst wird, das Fahrzeugumgebungs-Überwachungsprogramm gemäß der vorliegenden Erfindung durchzuführen.

Anschließend liest die Bildverarbeitungseinheit 1 eine Ausgabe des Fahrzeuggeschwindigkeitssensors 4 und jene des Gierratensensors 3 (ein detektierter Wert der Fahrzeuggeschwindigkeit und ein detektierter Wert der Gierrate) (Schritt 10). In diesem Schritt 10 wird ebenfalls ein Drehwinkel (Azimut) des Fahrzeugs 10 berechnet, indem der gelesene detektierte Wert der Gierrate integriert wird.

Andererseits führt die Bildverarbeitungseinheit 1 parallel zu der Verarbeitung der Schritte 9 und 10 die Schritte 11 bis 13 aus. Die Verarbeitung der Schritte 11 bis 13 wird ausgeführt, um einen Abstand vom Fahrzeug 10 zu jedem in Schritt 7 extrahierten Objekt zu erhalten. Unter schematischer Beschreibung der Verarbeitung wird aus dem rechten Bild (das Standardbild) zuerst die jedem Objekt entsprechende Fläche (beispielsweise die Fläche des das Objekt umschreibenden Rechtecks) als Zielbild R1 extrahiert (Schritt 11).

Anschließend wird im linken Bild eine Suchfläche R2 festgesetzt, die eine Fläche ist, die nach dem Objekt durchsucht werden muss, welches zu dem im Zielbild R1 im rechten Bild eingeschlossenen Objekt identisch ist. Danach wird eine Fläche, die mit dem Zielbild R1 in der Suchfläche R2 die höchste Korrelation aufweist, als ein entsprechendes Bild R3 extrahiert, welches ein dem Zielbild R1 entsprechendes Bild ist (ein zu dem Zielbild R1 äquivalentes Bild) (Schritt 12). In diesem Fall wird eine Fläche, die in der Suchfläche R2 des linken Bilds eine mit der Helligkeitsverteilung des Zielbilds R1 im rechten Bild am meisten übereinstimmende Helligkeitsverteilung aufweist, als das entsprechende Bild R3 extrahiert. Die Verarbeitung von Schritt 12 wird unter Verwendung eines Grauskalabilds anstelle des Binärbilds ausgeführt.

Anschließend wird die Pixelanzahl eines Unterschieds zwischen der Horizontalposition (x-Richtungsposition) des Schwerpunkts des Zielbilds R1 im rechten Bild und der Horizontalposition (x-Richtungsposition) des Schwerpunkts des entsprechenden Bilds R3 im linken Bild als Parallaxe &Dgr;d berechnet und wird unter Verwendung der Parallaxe &Dgr;d ein Abstand z vom Fahrzeug 10 zum Objekt (ein Abstand in der Vor-Zurück-Richtung des Fahrzeugs 10) berechnet (Schritt 13). Der Abstand z wird mittels folgender Gleichung (1) berechnet: z = (f·D)/(&Dgr;d·p)(1) wobei f die Brennweite der Infrarotkameras 2R und 2L ist, D die Basislänge der Infrarotkameras 2R und 2L ist (ein Abstand zwischen den optischen Achsen) und p ein Pixelabstand (die Länge von einem Pixel) ist.

Das Vorstehende ist der Abriss der Verarbeitung der Schritte 11 bis 13. Die Verarbeitung der Schritte 11 bis 13 wird für jedes in Schritt 7 extrahierte Objekt ausgeführt.

Nach Beendigung der Verarbeitung der Schritte 10 und 13 berechnet die Bildverarbeitungseinheit 1 dann eine Realraumposition, die eine Position jedes Objekts im realen Raum ist (eine relative Position bezüglich des Fahrzeugs 10) (Schritt 14). Es sollte hier beachtet werden, dass die Realraumposition eine Position (X,Y,Z) im Realraum-Koordinatensystem (XYZ-Koordinatensystem) ist, wobei der Ursprung am Mittelpunkt der Montageorte der Infrarotkameras 2R und 2L festgesetzt ist, wie in 2 gezeigt. Die X-Richtung bzw. die Y-Richtung des Realraum-Koordinatensystems entsprechen der Fahrzeugbreitenrichtung bzw. der Vertikalrichtung des Fahrzeugs 10, und die X-Richtung bzw. die Y-Richtung sind gleich der x-Richtung (Horizontalrichtung) bzw. der y-Richtung (Vertikalrichtung) des rechten bzw. linken Bilds. Außerdem entspricht die Z-Richtung des Realraum-Koordinatensystems der Vor-Zurück-Richtung des Fahrzeugs 10. Die Realraumpositionen (X,Y,Z) des Objekts werden mittels folgender Gleichungen (2), (3) und (4) berechnet: X = x·z·p/f(2) Y = y·z·p/f(3) Z = z(4) wobei x bzw. y eine x-Koordinate bzw. eine y-Koordinate im Standardbild ist.

Anschließend gleicht die Bildverarbeitungseinheit 1 Änderungen des Drehwinkels des Fahrzeugs 10 aus, indem sie diesen gemäß den Zeitreihendaten des Drehwinkels berichtigt, welche in Schritt 10 aus dem mittels der vorstehenden Gleichung (2) erhaltenen Wert der Position X in der X-Richtung der Realraumposition (X,Y,Z) des Objekts erhalten worden sind, um die Genauigkeit der Realraumposition des Objekts zu erhöhen (Schritt 15). Dadurch wird schließlich die Realraumposition des Objekts erhalten. In der folgenden Beschreibung bedeutet der Begriff "Realraumposition des Objekts" die vorstehend beschriebene, berichtigte Realraumposition des Objekts.

Anschließend berechnet die Bildverarbeitungseinheit 1 einen Bewegungsvektor des Objekts relativ zum Fahrzeug 10 (Schritt 16). Insbesondere findet die Bildverarbeitungseinheit 1 in der Realraumposition des identischen Objekts eine gerade Linie als Näherung der Zeitreihendaten in einer vorbestimmten Periode (eine Periode vom augenblicklichen Zeitpunkt bis zu dem einem vorbestimmten Zeitpunkt vorhergehenden Zeitpunkt), und berechnet als den Bewegungsvektor des Objekts einen Vektor von der Position (Punkt) des Objekts auf der geraden Linie zu dem einem vorbestimmten Zeitpunkt vorhergehenden Zeitpunkt in Richtung der Position (Punkt) des Objekts auf der geraden Linie zum augenblicklichen Zeitpunkt. Dieser Bewegungsvektor steht im Verhältnis zu einem Relativgeschwindigkeitsvektor des Objekts bezüglich des Fahrzeugs 10.

Nach dem Berechnen des Relativbewegungsvektors in Schritt 16, führt die Bildverarbeitungseinheit 1 anschließend eine Warnungsbestimmungsverarbeitung zur Bestimmung der Möglichkeit einer Kollision mit dem detektierten Objekt aus (Schritt 17). Die Einzelheiten der Warnungsbestimmungsverarbeitung werden später beschrieben.

Falls die Bildverarbeitungseinheit 1 bestimmt, dass in der Warnungsbestimmungsverarbeitung in Schritt 17 kein Objekt die Warnungsbedingung erfüllt (dass kein der Warnungsbedingung entsprechendes Objekt vorhanden ist) (falls das Bestimmungsergebnis von Schritt 17 NEIN ist), beginnt sie die Verarbeitung wieder von Schritt 1 an. Falls die Bildverarbeitungseinheit 1 bestimmt, dass eines der Objekte die Warnungsbedingung in Schritt 17 erfüllt (falls das Bestimmungsergebnis von Schritt 17 JA ist), geht sie zu Schritt 18 über, um eine Warnungsausgabe-Bestimmungsverarbeitung auszuführen, um zu bestimmen, ob bezüglich des Objekts, welches die Warnungsbedingung erfüllt, eine tatsächliche Warnung ausgegeben wird (Schritt 18). In dieser Warnungsausgabe-Bestimmungsverarbeitung überprüft die Bildverarbeitungseinheit 1 auf Grundlage einer Ausgabe des Bremssensors 5, ob der Fahrzeuglenker einen Vorgang zum Bremsen des Fahrzeugs 10 durchführt, und bestimmt, dass die Warnung nicht ausgegeben werden sollte, falls die Verzögerung (positiv in der Verzögerungsrichtung der Fahrzeuggeschwindigkeit) des Fahrzeugs 10 größer ist als ein vorbestimmter Schwellenwert (> 0). Sofern der Fahrzeuglenker keinen Bremsvorgang durchführt, oder falls die Verzögerung des Fahrzeugs 10, selbst wenn der Fahrzeuglenker den Bremsvorgang durchführt, kleiner oder gleich einem vorbestimmten Schwellenwert ist, bestimmt die Bildverarbeitungseinheit 1, dass die Warnung ausgegeben werden sollte.

Falls die Bildverarbeitungseinheit 1 bestimmt, dass die Warnung ausgegeben werden sollte (falls das Bestimmungsergebnis von Schritt 18 JA ist), erzeugt sie durch den Lautsprecher 6 einen Stimmenalarm (Schritt 19) und zeigt im Standardbild der Anzeigevorrichtung 7 ein hervorgehobenes Bild des Objekts an, welches die Warnungsbedingung erfüllt (Schritt 20). Zur Warnung an den Fahrzeuglenker ist es auch möglich, nur den Lautsprecher 6 oder nur die Anzeigevorrichtung 7 zu verwenden.

Falls die Bildverarbeitungseinheit 1 in Schritt 18 bestimmt, dass keine Warnung ausgegeben werden sollte (falls bezüglich aller Objekte keine Warnung ausgegeben werden sollte), ist das Bestimmungsergebnis von Schritt 18 NEIN und wird die Verarbeitung direkt von Schritt 1 an wieder begonnen.

Das Vorstehende ist der allgemeine Betrieb des Fahrzeugumgebungs-Überwachungsgeräts gemäß dieser Ausführungsform.

Mit Bezug auf das in 4 gezeigte Flussdiagramm wird anschließend die Warnungsbestimmungsverarbeitung in Schritt 17 des in 3 gezeigten Flussdiagramms ausführlicher beschrieben.

Mit Bezug auf 4 ist dort ein Flussdiagramm der Warnungsbestimmungsverarbeitung dieser Ausführungsform gezeigt. Die Warnungsbestimmungsverarbeitung wird ausgeführt, um die Möglichkeit einer Kollision zwischen dem Fahrzeug 10 und dem detektierten Objekt zu bestimmen, und zwar durch eine Kollisionsbestimmungsverarbeitung, eine Verarbeitung zum Bestimmen, ob sich das Objekt in einer Nahobjekt-Bestimmungsfläche befindet, eine Näherungsobjekt-Kollisionsbestimmungsverarbeitung, eine Fußgängerbestimmungsverarbeitung und eine Kunststruktur-Bestimmungsverarbeitung, die nachfolgend beschrieben werden.

Zuerst führt die Bildverarbeitungseinheit 1 die Kollisionsbestimmungsverarbeitung aus (Schritt 31). Die Kollisionsbestimmungsverarbeitung wird ausgeführt, um zu bestimmen, ob in der Zeit T bis zur Kollision (beispielsweise 2 bis 5 Sek.) die Möglichkeit einer Kollision zwischen dem Objekt und dem Fahrzeug 10 besteht, indem eine Relativgeschwindigkeit Vs bezüglich des Fahrzeugs 10 in der Z-Richtung von einem Abstand berechnet wird, um welchen sich das Objekt in einer vorbestimmten Zeitperiode an das Fahrzeug 10 angenähert hat, und indem angenommen wird, dass sich das Objekt und das Fahrzeug 10 mit konstant gehaltener Relativgeschwindigkeit Vs bewegen. Falls der Abstand zwischen dem Fahrzeug 10 und dem Objekt kleiner oder gleich einem mittels Multiplizieren der Relativgeschwindigkeit Vs mit der Zeit T bis zur Kollision erhaltenen Wert ist, bestimmt die Bildverarbeitungseinheit 1 insbesondere, dass die Möglichkeit einer Kollision besteht.

Falls in Schritt 31 in der Zeit T bis zur Kollision die Möglichkeit einer Kollision zwischen dem Objekt und dem Fahrzeug 10 besteht (falls das Bestimmungsergebnis von Schritt 31 JA ist), führt die Bildverarbeitungseinheit 1 anschließend eine Verarbeitung zum Bestimmen aus, ob sich das Objekt in der Nahobjekt-Bestimmungsfläche befindet, damit die Zuverlässigkeit der Bestimmung weiter erhöht wird (Schritt 32). Die Verarbeitung zum Bestimmen, ob sich das Objekt in der Nahobjekt-Bestimmungsfläche befindet, wird ausgeführt, um zu bestimmen, ob sich das Objekt in einer Fläche befindet, die von den Infrarotkameras 2R und 2L überwacht werden kann und die einem Bereich entspricht, der die gleiche Breite wie die Fahrzeugbreite des Fahrzeugs 10 einschließlich von zulässigen Abweichungen (beispielsweise 50 bis 100 cm oder ähnlich) beidseits des Fahrzeugs aufweist, mit anderen Worten, ob sich das Objekt in der Nahobjekt-Bestimmungsfläche befindet, in welcher das Objekt sehr wahrscheinlich mit dem Fahrzeug 10 kollidiert, falls das Objekt darin verbleibt.

Sofern sich das Objekt in Schritt 32 nicht in der Nahobjekt-Bestimmungsfläche befindet (falls das Bestimmungsergebnis von Schritt 32 NEIN ist), führt die Bildverarbeitungseinheit 1 anschließend die Näherungsobjekt-Kollisionsbestimmungsverarbeitung aus, um zu bestimmen, ob eine Möglichkeit besteht, dass das Objekt in die Nahobjekt-Bestimmungsfläche eintritt und mit dem Fahrzeug 10 kollidiert (Schritt 33). In der Näherungsobjekt-Kollisionsbestimmungsverarbeitung wird eine Fläche, die einen größeren Absolutwert der X-Koordinate aufweist als die vorstehend beschriebene Nahobjekt-Bestimmungsfläche (eine sich seitlich außerhalb der Nahobjekt-Bestimmungsfläche befindende Fläche), in der von den Kameras aufgenommenen Fläche als Näherungsobjekt-Bestimmungsfläche bezeichnet. Die Näherungsobjekt-Kollisionsbestimmungsverarbeitung wird ausgeführt, um zu bestimmen, ob ein in dieser Fläche vorhandenes Objekt durch Bewegung in die Nahobjekt-Bestimmungsfläche eintritt und mit dem Fahrzeug 10 kollidiert. Insbesondere bestimmt die Bildverarbeitungseinheit 1, dass für das Objekt eine erhöhte Gefahr besteht, mit dem Fahrzeug 10 zu kollidieren, wenn der Bewegungsvektor (siehe Schritt 16) des Objekts in der Nahobjekt-Bestimmungsfläche in Richtung des Fahrzeugs 10 weist.

Falls das Objekt in Schritt 32 in der Nahobjekt-Bestimmungsfläche vorhanden ist (falls das Bestimmungsergebnis von Schritt 32 JA ist), führt die Bildverarbeitungseinheit 1 andererseits eine Fußgängerbestimmungsverarbeitung aus, um zu bestimmen, ob eine Möglichkeit besteht, dass das Objekt ein Fußgänger sein kann (Schritt 34). Die Fußgängerbestimmungsverarbeitung wird ausgeführt, um anhand einer Gestalt, einer Größe, einer Helligkeitsverteilung oder dergleichen des Objektbilds im Grauskalabild zu bestimmen, ob das Objekt ein Fußgänger ist. Es sollte beachtet werden, dass in einigen Fällen ein Baum als Fußgänger bestimmt werden kann, wenn das Objekt in der Fußgängerbestimmungsverarbeitung der Baum ist.

Falls die Bildverarbeitungseinheit 1 in Schritt 34 bestimmt, dass das Objekt ein Fußgänger sein kann (falls das Bestimmungsergebnis von Schritt 34 JA ist), führt diese die Kunststruktur-Bestimmungsverarbeitung aus, um zu bestimmen, ob das Objekt eine künstliche Struktur ist, damit die Zuverlässigkeit der Bestimmung erhöht wird (Schritt 35). Die Kunststruktur-Bestimmungsverarbeitung wird ausgeführt, um das Objekt als künstliche Struktur zu bestimmen, wenn eine für einen Fußgänger nicht mögliche Charakteristik im Bild des Objekts detektiert wird, welches in Schritt 34 als wahrscheinlicher Fußgänger bestimmt worden ist, und um das Objekt aus den Warnungszielen wegzulassen. Die Kunststruktur-Bestimmungsverarbeitung schließt das Bestimmen des Objekts als künstliche Struktur ein, falls eine für einen Fußgänger nicht mögliche Charakteristik im Objektbild detektiert wird, wie es in den folgenden Bedingungen (a) bis (e) beschrieben wird, und das Weglassen des Objekts aus den Warnungszielen. Obgleich die Einzelheiten später beschrieben werden, bezieht sich die Bedingung (e) der folgenden Bedingungen (a) bis (e) auf die vorliegende Erfindung.

  • (a) Das Objektbild schließt einen Abschnitt ein, der einen geraden Rand darstellt.
  • (b) Das Objektbild schließt einen rechten Winkel ein.
  • (c) Das Objektbild schließt eine Mehrzahl von gleichen Gestalten ein.
  • (d) Das Objektbild passt zu einer von zuvor erfassten Gestalten künstlicher Strukturen.
  • (e) Das Objektbild schließt Breiten in einer Mehrzahl von Höhenpositionen ein, die in einer vorbestimmten Beziehung zueinander stehen.

Falls im vorstehenden Schritt 33 die Möglichkeit besteht, dass das Objekt in die Nahobjekt-Bestimmungsfläche eintritt und mit dem Fahrzeug 10 kollidiert (falls das Bestimmungsergebnis von Schritt 33 JA ist), oder falls das als wahrscheinlicher Fußgänger bestimmte Objekt in Schritt 35 keine künstliche Struktur ist (falls das Bestimmungsergebnis von Schritt 35 NEIN ist), bestimmt die Bildverarbeitungseinheit 1 das detektierte Objekt deshalb als Warnungsziel (Schritt 36) und geht zu Schritt 18 über, um die Warnungsausgabe-Bestimmungsverarbeitung auszuführen (Schritt 18), wobei angenommen wird, dass das in 3 gezeigte Bestimmungsergebnis von Schritt 17 JA ist.

Falls im vorstehenden Schritt 31 in der Zeit T bis zur Kollision keine Möglichkeit einer Kollision zwischen dem Objekt und dem Fahrzeug 10 besteht (falls das Bestimmungsergebnis von Schritt 31 NEIN ist), falls in Schritt 33 keine Möglichkeit besteht, dass das Objekt in die Nahobjekt-Bestimmungsfläche eintritt und mit dem Fahrzeug 10 kollidiert (falls das Bestimmungsergebnis von Schritt 33 NEIN ist), falls in Schritt 34 keine Möglichkeit besteht, dass das Objekt ein Fußgänger ist (falls das Bestimmungsergebnis von Schritt 34 NEIN ist) oder falls das als wahrscheinlicher Fußgänger bestimmte Objekt in Schritt 35 eine künstliche Struktur ist (falls das Bestimmungsergebnis von Schritt 35 JA ist), bestimmt die Bildverarbeitungseinheit 1 das detektierte Objekte andererseits nicht als Warnungsziel (Schritt 37) und kehrt zu Schritt 1 zurück, um den Objektdetektions- und Warnungsbetrieb für einen Fußgänger oder dergleichen zu wiederholen, wobei angenommen wird, dass das in 3 gezeigte Bestimmungsergebnis von Schritt 17 NEIN ist.

Die Verarbeitung von Schritt 17 bis Schritt 20 wird mittels einer Warnungsverarbeitungseinheit ausgeführt, die dadurch konfiguriert ist, dass der in der Bildverarbeitungseinheit 1 vorgesehene Computer veranlasst wird, ein Fahrzeugumgebungs-Überwachungsprogramm auszuführen.

Mit Bezug auf das in 5 gezeigte Flussdiagramm wird anschließend die Verarbeitung der vorstehenden Bedingung (e) beschrieben, die sich auf die vorliegende Erfindung bezieht.

Zuerst setzt die Bildverarbeitungseinheit 1 eine Bestimmungsfläche ARE fest, die den gleichen Abstand aufweisende Objekte einschließt oder die mittels eines Rechtecks gebildet ist, welches für die als Objekte extrahierten Objekte (Schritt 101) die Objektteile im Standardbild (Grauskalabild) umschreibt. Insbesondere wird für jedes der Objekte oder für die Objektteile, die den gleichen Abstand vom Fahrzeug 10 aufweisen, eine Berechnung vorgenommen und wird die Bestimmungsfläche ARE derart festgesetzt, dass sie die den gleichen Abstand aufweisenden Teile einschließt.

Falls das Standardbild (Grauskalabild) als Objekt beispielsweise einen Baumstamm einschließt, wird die Bestimmungsfläche ARE derart festgesetzt, dass sie im Baum diejenigen Stammteile einschließt, die den gleichen Abstand aufweisen, wie in 6(a) gezeigt. Falls das Standardbild (Grauskalabild) als Objekt einen Fußgänger einschließt, wird die Bestimmungsfläche ARE derart festgesetzt, dass sie den gesamten Fußgänger als Teile einschließt, die den gleichen Abstand aufweisen, wie in 6(b) gezeigt. Man beachte, dass der obere Teil des Baums als in 6(a) nicht sichtbar betrachtet wird, da aufgrund der Wirkung der Blätter des Baums lediglich die Stammteile des Baums als Abschnitte relativ hoher Helligkeit abgebildet werden. In dieser Ausführungsform ist die Höhe des Baumstamms zu der allgemeinen Höhe eines Fußgängers äquivalent.

Anschließend setzt die Bildverarbeitungseinheit 1 in der Bestimmungsfläche ARE eine Mehrzahl von in vorbestimmten Intervallen vertikal beabstandeten Höhenpositionen als Breitenberechnungspositionen h1, h2 und h3 im Standardbild (Grauskalabild) fest (Schritt 102). Die Breitenberechnungspositionen h1, h2 und h3 werden, in Abständen vom oberen Ende oder vom unteren Ende der Bestimmungsfläche ARE beabstandet, an Positionen festgesetzt, die bezüglich der vertikalen Gesamtlänge der Bestimmungsfläche ARE vorbestimmte Proportionen aufweisen. Mit anderen Worten, falls ein in der Bestimmungsfläche ARE eingeschlossenes Objekt ein Fußgänger ist, werden die Breitenberechnungspositionen h1, h2 und h3 an den die vorbestimmten Proportionen aufweisenden Positionen festgesetzt, die im Wesentlichen dem Kopf, der Taille und den Beinen des Fußgängers entsprechen.

Falls das in der Bestimmungsfläche ARE eingeschlossene Objekt ein Fußgänger ist, werden die obere Breitenberechnungsposition h1, die mittlere Breitenberechnungsposition h2 und die untere Breitenberechnungsposition h3 für die in 6(a) oder in 6(b) gezeigte Bestimmungsfläche ARE insbesondere bei denjenigen Positionen festgesetzt, an welchen man das Vorhandensein des Kopfs, der Taille und der Beine des Fußgängers vermutet.

Da die Breitenberechnungspositionen h1, h2 und h3 in dieser Situation, wie vorstehend beschrieben, an den Positionen festgesetzt sind, die bezüglich der vertikalen Gesamtlänge der Bestimmungsfläche ARE die vorbestimmten Proportionen aufweisen, können sie unabhängig vom Abstand zwischen dem Fahrzeug 10 und dem Objekt an Positionen festgesetzt werden, an welchen man das Vorhandensein des Kopfs, der Taille und der Beine des Fußgängers vermutet.

Mit anderen Worten, falls der Abstand zwischen dem in der Bestimmungsfläche ARE eingeschlossenen Objekt und dem Fahrzeug 10 klein ist (falls das Objekt dem Fahrzeug 10 nahe kommt), sind das Objektbild und die Bestimmungsfläche ARE größer als in dem Fall, in welchen der Abstand zwischen dem in der Bestimmungsfläche ARE eingeschlossenen Objekt und dem Fahrzeug 10 groß ist (falls das Objekt dem Fahrzeug 10 nicht nahe kommt), wobei die obere Breitenberechnungsposition h1, die mittlere Breitenberechnungsposition h2 und die untere Breitenberechnungsposition h3 wiederum an Positionen festgesetzt werden, an welchen man das Vorhandensein des Kopfs, der Taille und der Beine des Fußgängers vermutet, falls das in der Bestimmungsfläche ARE eingeschlossene Objekt in dieser Situation ein Fußgänger ist. Falls der Abstand zwischen dem in jeder Bestimmungsfläche ARE eingeschlossenen Objekt und dem Fahrzeug 10 andererseits groß ist (falls das Objekt dem Fahrzeug 10 nicht nahe kommt), sind das Objektbild und die Bestimmungsfläche ARE kleiner als in dem Fall, in welchem der Abstand zwischen dem in der Bestimmungsfläche ARE eingeschlossenen Objekt und dem Fahrzeug 10 klein ist (falls das Objekt dem Fahrzeug 10 nahe kommt), wobei die obere Breitenberechnungsposition h1, die mittlere Breitenberechnungsposition h2 und die untere Breitenberechnungsposition h3 wiederum an Positionen festgesetzt werden, an welchen man das Vorhandensein des Kopfs, der Taille und der Beine des Fußgängers vermutet, falls das in der Bestimmungsfläche ARE eingeschlossene Objekt in dieser Situation ein Fußgänger ist.

Obgleich in dieser Ausführungsform die Bestimmungsfläche ARE festgesetzt wird, welche die Objekte oder die Objektteile einschließt, die den gleichen Abstand vom Fahrzeug 10 aufweisen (Schritt 101), und dann die Breitenberechnungspositionen h1, h2 und h3 an den Positionen festgesetzt werden, welche bezüglich der vertikalen Gesamtlänge der Bestimmungsfläche ARE die vorbestimmten Proportionen aufweisen (Schritt 102), ist es auch möglich, die Breitenberechnungspositionen an Höhenpositionen festzulegen, die gemäß dem Abstand zwischen dem Fahrzeug 10 und dem Objekt in vorbestimmten Abständen vom unteren Rand des Objekts beabstandet sind.

Obgleich die obere Breitenberechnungsposition h1, die mittlere Breitenberechnungsposition h2 und die untere Breitenberechnungsposition h3 in dieser Ausführungsform als drei Breitenberechnungspositionen festgesetzt sind, können lediglich dann vier oder mehr Breitenberechnungspositionen festgesetzt werden, wenn sie wenigstens die vorstehenden drei Positionen einschließen.

Danach berechnet die Bildverarbeitungseinheit 1 im Standardbild (Grauskalabild) in der oberen Breitenberechnungsposition h1, der mittleren Breitenberechnungsposition h2 und der unteren Breitenberechnungsposition h3 Helligkeitsmittelwerte av1, av2 und av3 (Schritt 103). Man beachte hier, dass das Standardbild ein Ferninfrarotbild ist und dass die Helligkeitsmittelwerte av1, av2 und av3 in den Breitenberechnungspositionen h1, h2 und h3 daher von den Temperaturen (Durchschnittstemperaturen) des in den Breitenberechnungspositionen h1, h2 und h3 vorhandenen Objekts abhängen. Dementsprechend erhöht sich bei ansteigender Temperatur der Helligkeitsmittelwert.

Anschließend legt die Bildverarbeitungseinheit 1 in den vorstehenden Breitenberechnungspositionen h1, h2 und h3 die Helligkeitsmittelwerte av1, av2 und av3 als vorbestimmte Werte fest und berechnet die Breiten N, B und L von Abschnitten, deren Helligkeit höher ist als die vorbestimmten Werte im Standardbild (Grauskalabild), als die Breiten des Objekts (Schritt 104). Es sollte hier beachtet werden, dass die Helligkeitsmittelwerte av1, av2 und av3, wie vorstehend beschrieben, von den Temperaturen (Durchschnittstemperaturen) des in den Breitenberechnungspositionen h1, h2 und h3 vorhandenen Objekts abhängen und dass die Bildverarbeitungseinheit 1 selbst im Fall von Variationen der Temperatur des Objekts in den Breitenberechnungspositionen h1, h2 und h3 mit einer gewissen Zuverlässigkeit die Breiten des Objekts in den Breitenberechnungspositionen h1, h2 und h3 als die Breiten von Abschnitten berechnen kann, deren Helligkeitswerte höher oder gleich den Helligkeitsmittelwerten av1, av2 und av3 sind.

Falls die in 6(a) und 6(b) gezeigten Bilder erhalten werden, werden die obere Breite H, die mittlere Breite B und die untere Breite L des Objekts in der oberen Breitenberechnungsposition h1, der mittleren Breitenberechnungsposition h2 und der unteren Breitenberechnungsposition h3 insbesondere als die Breiten der Abschnitte hoher Helligkeit berechnet, deren Helligkeitswerte höher oder gleich den Helligkeitsmittelwerten av1, av2 und av3 sind, wie in 7(a) und 7(b) gezeigt.

Obgleich die Helligkeitsmittelwerte av1, av2 und av3 in den Breitenberechnungspositionen h1, h2 und h3 in dieser Ausführungsform als die vorbestimmten Werte verwendet werden, sind die vorbestimmten Werte nicht darauf beschränkt, sondern können auf Grundlage der Intensitätsverteilung der Helligkeitswerte relativ bestimmte Werte sein.

Außerdem werden in dieser Ausführungsform die Helligkeitsmittelwerte als vorbestimmte Werte festgelegt und werden die Breiten der Abschnitte, deren Helligkeit höher ist als die vorbestimmten Werte, als die Breiten des Objekts berechnet. Dort, wo beispielsweise die Außentemperatur höher ist als die Objekttemperatur und das Objekt als Abschnitte detektiert wird, deren Helligkeit niedriger ist als die vorbestimmten Werte, ist es jedoch auch möglich, die Breiten der benachbarten Abschnitte niedriger Helligkeit als Breiten des Objekts zu berechnen.

Obgleich in dieser Ausführungsform die Breiten des Objekts, wie vorstehend beschrieben, auf Grundlage der Helligkeitswerte berechnet werden, ist es außerdem auch möglich, in der Bestimmungsfläche ARE unter Verwendung eines Differenzfilters oder dergleichen ein Paar von Vertikalrändern zu detektieren, um zusätzlich zu oder anstelle der Berechnung in dieser Ausführungsform in jeder der Breitenberechnungspositionen h1, h2 und h3 die Breite zwischen den Vertikalrändern als die Breite des Objekts zu berechnen. Selbst wenn beispielsweise die Außentemperatur höher ist als die Objekttemperatur und das Objekt als Abschnitt detektiert wird, dessen Helligkeit niedriger ist als die vorbestimmten Werte, können dadurch die Breiten des Objekts in den Breitenberechnungspositionen h1, h2 und h3 genau berechnet werden.

Anschließend bestimmt die Bildverarbeitungseinheit 1, dass das Objekt ein von einem Fußgänger verschiedenes Objekt ist, falls die in der oberen Breitenberechnungsposition h1, der mittleren Breitenberechnungsposition h2 bzw. der unteren Breitenberechnungsposition h3 für jede Bestimmungsfläche ARE berechnete, obere Breite H, mittlere Breite B bzw. untere Breite L des Objekts den folgenden Bedingungsausdruck (5) erfüllt (Schritt 105). (H ≤ B) und (B ≤ L)(5)

Falls die in den Breitenberechnungspositionen h1, h2 und h3 berechnete, obere Breite N, mittlere Breite B bzw. untere Breite L des Objekts den vorstehenden Bedingungsausdruck (5) nicht erfüllt, ist das Objekt insbesondere sehr wahrscheinlich ein von einem Fußgänger verschiedenes Objekt, wie beispielsweise ein um ein Fahrzeug 10 herum vorhandener Baum bzw. Stromversorgungsmast, und bestimmt die Bildverarbeitungseinheit 1 daher, dass das Objekt ein von einem Fußgänger verschiedenes Objekt ist. Mit anderen Worten, falls die in den Breitenberechnungspositionen h1, h2 und h3 berechnete, obere Breite H, mittlere Breite B bzw. untere Breite L des Objekts mit fallenden Höhenpositionen ansteigen oder falls die Breiten in den jeweiligen Höhenpositionen zueinander gleich sind (falls der vorstehende Bedingungsausdruck (5) erfüllt wird), weist das Objekt keine, für einen Fußgänger charakteristische Breite auf und ist es sehr wahrscheinlich ein von einem Fußgänger verschiedenes Objekt. Daher wird bestimmt, dass das Objekt ein von einem Fußgänger verschiedenes Objekt ist.

Sofern keine Bedingung zur Bestimmung des Objekts als Fußgänger erfüllt wird, kann das Objekt anstatt mittels des vorstehenden Bedingungsausdruck (5) oder zusätzlich zu diesem als ein von einem Fußgänger verschiedenes Objekt bestimmt werden, indem angenommen wird, dass die Bedingung darin besteht, dass die in den Breitenberechnungspositionen h1, h2 und h3 berechnete, obere Breite H, mittlere Breite B bzw. untere Breite L des Objekts den folgenden Bedingungsausdruck (6) erfüllt: (H < B) und (B > L)(6)

Dort, wo die in den Breitenberechnungspositionen h1, h2 und h3 berechnete, obere Breite H, mittlere Breite B bzw. untere Breite L des Objekts den vorstehenden Bedingungsausdruck (6) erfüllt, weist das Objekt insbesondere eine Vertikalbreitencharakteristik des Objekts auf, wenn das Objekt ein Fußgänger ist, und ist es daher sehr wahrscheinlich ein Fußgänger. Sofern keine Bedingung zur Bestimmung des Objekts als Fußgänger erfüllt wird, wobei angenommen wird, dass die Bedingung im vorstehenden Bedingungsausdruck (6) besteht, wird das Objekt daher als ein von einem Fußgänger verschiedenes Objekt bestimmt. Mit anderen Worten, sofern keine Bedingung zur Bestimmung des Objekts als Fußgänger erfüllt wird, wobei angenommen wird, dass die Bedingung darin besteht, dass unter der in den Breitenberechnungspositionen h1, h2 und h3 berechnete, oberen Breite H, der mittleren Breite B bzw. der unteren Breite L des Objekts die mittlere Breite B größer ist als die obere Breite H und die untere Breite L (sofern nicht der vorstehende Bedingungsausdruck erfüllt wird), wird das Objekt als ein von einem Fußgänger verschiedenes Objekt bestimmt, da das Objekt nicht als ein die Vertikalbreitencharakteristik eines Fußgänger aufweisendes Objekt betrachtet wird.

Die Verarbeitung der Schritte 101 bis 104, die einem Breitenberechnungsschritt des Fahrzeugumgebungs-Überwachungsverfahrens gemäß der vorliegenden Erfindung entspricht, wird mittels einer Breitenberechnungs-Verarbeitungseinheit ausgeführt, die dadurch konfiguriert ist, dass der in der Bildverarbeitungseinheit 1 vorgesehene Computer veranlasst wird, das Fahrzeugumgebungs-Überwachungsprogramm gemäß der vorliegenden Erfindung durchzuführen. Außerdem wird die Verarbeitung von Schritt 105, die einem Objekttypbestimmungsschritt des Fahrzeugumgebungs-Überwachungsverfahrens gemäß der vorliegenden Erfindung entspricht, mittels einer Objekttypbestimmungs-Verarbeitungseinheit ausgeführt, die dadurch konfiguriert ist, dass der in der Bildverarbeitungseinheit 1 vorgesehene Computer veranlasst wird, das Fahrzeugumgebungs-Überwachungsprogramm gemäß der vorliegenden Erfindung durchzuführen.

Sofern in dieser Ausführungsform in Schritt 35 nicht der vorstehende Bedingungsausdruck (6) erfüllt wird, ist es, obgleich das Objekt als ein von einem Fußgänger verschiedenes Objekt bestimmt worden ist, auch möglich, das Objekt als Fußgänger zu bestimmen, falls der vorstehende Bedingungsausdruck (6) in Schritt 34 erfüllt wird. In diesem Fall kann in Schritt 35 die Bestimmung auf Grundlage des Bedingungsausdrucks (6) weggelassen werden.

Vorstehend sind hier die Einzelheiten der Warnungsbestimmungsverarbeitung in Schritt 17 dieser Ausführungsform beschrieben worden.

Falls das Objekt, wie in 6(a) gezeigt, ein Baum ist, werden die obere Breite N, die mittlere Breite B und die untere Breite L des Objekts in der vorstehenden Warnungsbestimmungsverarbeitung, wie in 7(a) gezeigt, für die Breitenberechnungspositionen h1, h2 und h3 in 6(a) berechnet, und erweist es sich, dass die obere Breite H, die mittlere Breite B und die untere Breite L zueinander in einer H < B < L-Beziehung stehen und den Bedingungsausdruck (5) erfüllen, mittels welchem bestimmt wird, dass das Objekt sehr wahrscheinlich ein von einem Fußgänger verschiedenes Objekt ist, und wird das Objekt aus den Warnungszielen weggelassen. Dadurch wird es der Warnungsverarbeitungseinheit ermöglicht, dann eine Ausgabe von unnötigen Warnungen zu verhindern, wenn das Objekt ein von einem Fußgänger verschiedenes Objekt ist. Falls das Objekt andererseits ein Fußgänger ist, wie in 6(b) gezeigt, werden die obere Breite H, die mittlere Breite B und die untere Breite L des Objekts in der vorstehenden Warnungsbestimmungsverarbeitung, wie in 7(b) gezeigt, für die Breitenberechnungspositionen h1, h2 und h3 in 6(b) berechnet, und erweist es sich, dass die obere Breite H, die mittlere Breite B und die untere Breite L zueinander in einer H < B > L-Beziehung stehen und den Bedingungsausdruck (5) nicht erfüllen, wodurch das Objekt aus dem Grund, dass das Objekt ein von einem Fußgänger verschiedenes Objekt ist, nicht aus den Warnungszielen weggelassen wird.

Wie vorstehend beschrieben, werden die Breiten, H, B und L eines aus einem Infrarotbild extrahierten Objekts in dieser Ausführungsform gemäß dem Fahrzeugumgebungs-Überwachungsgerät in der Mehrzahl von vertikalen Höhenpositionen h1, h2 und h3 des Objekts berechnet und kann auf Grundlage der Charakteristiken der in der Mehrzahl von Höhenpositionen h1, h2 und h3 berechneten Objektbreiten H, B und L ein Objekttyp mit hoher Zuverlässigkeit unterschieden und bestimmt werden.

Obgleich in dieser Ausführungsform zwei Infrarotkameras 2R und 2L vorgesehen worden sind, ist es ebenso möglich, in Fällen, in welchem ein Abstand vom Objekt mittels eines Radars oder dergleichen detektiert wird, nur eine Infrarotkamera 2R oder 2L auf dem Fahrzeug 10 zu montieren.

Zudem ist es auch möglich, ein Objekt nicht nur unter Verwendung der Infrarotkameras 2R und 2L sondern auch mittels einer Kamera für sichtbares Licht oder mittels Radar zu detektieren.

Ein Fahrzeugumgebungs-Überwachungsgerät, welches in der Lage ist, mit hoher Zuverlässigkeit einen Objekttyp zu unterscheiden und zu bestimmen, insbesondere ein Fahrzeugumgebungs-Überwachungsgerät, welches in der Lage ist, ein Objekt mit hoher Zuverlässigkeit zu bestimmen, indem es unter den Objekten zwischen einem Fußgänger und anderen Objekten unterscheidet. Das Fahrzeugumgebungs-Überwachungsgerät detektiert aus von auf dem Fahrzeug (10) montierten Kameras (2R und 2L) erhaltenen Bildern ein um ein Fahrzeug (10) herum vorhandenes Objekt und schließt eine Objektextraktions-Verarbeitungseinheit (Schritte 1 bis 9) ein, die ein Objekt aus dem Bild extrahiert, eine Breitenberechnungs-Verarbeitungseinheit (Schritte 101 bis 104), die in einer Mehrzahl von in vertikalen Intervallen des in der Objektextraktionsverarbeitung extrahierten Objekts beabstandeten Höhenpositionen Breiten des Objekts berechnet; und eine Objekttypbestimmungs-Verarbeitungseinheit (Schritt 105), die auf Grundlage der von der Breitenberechnungs-Verarbeitungseinheit berechneten Breiten den Typ des Objekts bestimmt.


Anspruch[de]
Fahrzeugumgebungs-Überwachungsgerät, welches auf Grundlage eines von einer auf dem Fahrzeug montierten Kamera aufgenommenen Bilds eine Umgebung eines Fahrzeugs überwacht, umfassend:

eine Objektextraktions-Verarbeitungseinheit, die ein Objekt aus dem Bild extrahiert;

eine Breitenberechnungs-Verarbeitungseinheit, die in einer Mehrzahl von in vertikalen Intervallen des Objekts beabstandeten Höhenpositionen Breiten des von der Objektextraktions-Verarbeitungseinheit extrahierten Objekts berechnet; und

eine Objekttypbestimmungs-Verarbeitungseinheit; die auf Grundlage der von der Breitenberechnungs-Verarbeitungseinheit berechneten Breiten den Typ des Objekts bestimmt.
Fahrzeugumgebungs-Überwachungsgerät gemäß Anspruch 1, bei welchem die Breitenberechnungs-Verarbeitungseinheit die Breite eines Abschnitts hoher Helligkeit, dessen Helligkeitswert in jeder der Höhenpositionen größer oder gleich einem vorbestimmten Wert im Bild des Objekts ist, als Breite des Objekts in der Höhenposition berechnet. Fahrzeugumgebungs-Überwachungsgerät gemäß Anspruch 1, bei welchem die Breitenberechnungs-Verarbeitungseinheit in jeder der Höhenpositionen im Bild des Objekts ein Paar von vertikalen Rändern des Objekts detektiert und eine Breite zwischen den vertikalen Rändern als die Breite des Objekts in der Höhenposition berechnet. Fahrzeugumgebungs-Überwachungsgerät gemäß Anspruch 1, 2 oder 3, bei welchem die Objekttypbestimmungs-Verarbeitungseinheit den Typ des Objekts mittels Unterscheiden zwischen einem Fußgänger oder anderen Objekten bestimmt, und bei welchem das Objekt in dem Fall, in welchem die von der Breitenberechnungs-Verarbeitungseinheit berechneten Breiten in den Höhenpositionen mit fallenden Höhenpositionen ansteigen, oder in dem Fall, in welchem die Breiten in den Höhenpositionen zueinander ungefähr gleich sind, als ein von einem Fußgänger verschiedenes Objekt bestimmt wird. Fahrzeugumgebungs-Überwachungsgerät gemäß Anspruch 1, 2 oder 3, bei welchem:

die Mehrzahl der Höhenpositionen wenigstens drei Höhenpositionen im oberen Teil, im mittleren Teil und im unteren Teil des Objekts einschließt; und

die Objekttypbestimmungs-Verarbeitungseinheit, die den Typ des Objekts mittels Unterscheiden zwischen einem Fußgänger oder anderen Objekten bestimmt, das Objekt in dem Fall als Fußgänger bestimmt, in welchem unter den von der Breitenberechnungs-Verarbeitungseinheit berechneten Breiten die Breite in der mittleren Höhenposition des Objekts größer ist als die Breite in der oberen Höhenposition und die Breite in der unteren Höhenposition.
Fahrzeugumgebungs-Überwachungsgerät gemäß Anspruch 5, bei welchem die Objekttypbestimmungs-Verarbeitungseinheit dann ein Objekt als ein von einem Fußgänger verschiedenes Objekt bestimmt, wenn eine Bedingung zur Bestimmung des Objekts als Fußgänger nicht erfüllt wird, wobei angenommen wird, dass die Bedingung darin besteht, dass unter den von der Breitenberechnungs-Verarbeitungseinheit berechneten Breiten die Breite in der mittleren Höhenposition des Objekts größer ist als die Breite in der oberen Höhenposition und die Breite in der unteren Höhenposition. Fahrzeugumgebungs-Überwachungsgerät gemäß Anspruch 4, 5 oder 6, welches ferner eine Warnungsverarbeitungseinheitumfasst, die aus den von der Objektextraktions-Verarbeitungseinheit extrahierten Objekten Warnungsziele bestimmt und für einen Fahrzeuglenker Warnungen bezüglich der Warnungsziele ausgibt, wobei die Warnungsverarbeitungseinheit in dem Fall, in welchem die Objekttypbestimmungs-Verarbeitungseinheit das Objekt als ein von einem Fußgänger verschiedenes Objekt bestimmt, das Objekt aus den Warnungszielen weglässt. Fahrzeugumgebungs-Überwachungsgerät, welches einen Computer aufweist, welcher eine Schnittstellenschaltung zum Zugriff auf ein von einer auf einem Fahrzeug montierten Kamera erhaltenes Bild einschließt, und welches mittels des Computers einen um das Fahrzeug vorhandenen Materialkörper detektiert, wobei der Computer ausführt:

eine Objektextraktionsverarbeitung, um ein Objekt aus dem Bild zu extrahieren;

eine Breitenberechnungsverarbeitung, um in einer Mehrzahl von in vertikalen Intervallen des Objekts beabstandeten Höhenpositionen Breiten des in der Objektextraktionsverarbeitung extrahierten Objekts zu berechnen; und

eine Objekttypbestimmungsyerarbeitung, um auf Grundlage der von der Breitenberechnungs-Verarbeitungseinheit berechneten Breiten den Typ des Objekts zu bestimmen.
Fahrzeugumgebungs-Überwachungsverfahren, um mittels eines Computers, welcher eine Schnittstellenschaltung zum Zugriff auf ein von einer auf einem Fahrzeug montierten Kamera erhaltenes Bild einschließt, einen um ein Fahrzeug herum vorhandenen Materialkörper zu detektieren, umfassend:

einen Objektextraktionsschritt, in welchem der Computer ein Objekt aus dem Bild durch den Computer extrahiert;

einen Breitenberechnungsschritt, in welchem der Computer in einer Mehrzahl von in vertikalen Intervallen des Objekts beabstandeten Höhenpositionen Breiten des in dem Objektextraktionsschritt extrahierten Objekts berechnet; und

einen Objekttypbestimmungsschritt, in welchem der Computer auf Grundlage der in dem Breitenberechnungsschritt berechneten Breiten den Typ des Objekts bestimmt.
Fahrzeugumgebungs-Überwachungsprogramm, um mittels eines Computers, welcher eine Schnittstellenschaltung zum Zugriff auf ein von einer auf einem Fahrzeug montierten Kamera erhaltenes Bild einschließt, einen um ein Fahrzeug herum vorhandenen Materialkörper zu detektieren, wobei das Programm den Computer veranlasst auszuführen:

eine Objektextraktionsverarbeitung, um ein Objekt aus dem Bild zu extrahieren;

eine Breitenberechnungsverarbeitung, um in einer Mehrzahl von in vertikalen Intervallen des in der Objektextraktionsverarbeitung extrahierten Objekts beabstandeten Höhenpositionen Breiten des Objekts zu berechnen; und

eine Objekttypbestimmungsverarbeitung, um auf Grundlage der in der Breitenberechnungsverarbeitung berechneten Breiten den Typ des Objekts zu bestimmen.






IPC
A Täglicher Lebensbedarf
B Arbeitsverfahren; Transportieren
C Chemie; Hüttenwesen
D Textilien; Papier
E Bauwesen; Erdbohren; Bergbau
F Maschinenbau; Beleuchtung; Heizung; Waffen; Sprengen
G Physik
H Elektrotechnik

Anmelder
Datum

Patentrecherche

Patent Zeichnungen (PDF)

Copyright © 2008 Patent-De Alle Rechte vorbehalten. eMail: info@patent-de.com