PatentDe  


Dokumentenidentifikation DE10337357A1 10.03.2005
Titel Verfahren und Vorrichtung zur Beleuchtungssteuerung für eine Kamera
Anmelder ADC Automotive Distance Control Systems GmbH, 88131 Lindau, DE
Erfinder Krökel, Dieter, 88074 Meckenbeuren, DE
DE-Anmeldedatum 14.08.2003
DE-Aktenzeichen 10337357
Offenlegungstag 10.03.2005
Veröffentlichungstag im Patentblatt 10.03.2005
IPC-Hauptklasse G03B 7/08
IPC-Nebenklasse B60R 1/10   H04N 5/235   
Zusammenfassung Bei einem Verfahren zur Belichtungssteuerung für eine Kamera, mit mindestens einem Bildsensor, bei dem ein Bildhelligkeits-Sollwert vorgegeben wird und auf diesen Bildhelligkeits-Sollwert geregelt wird, ist es vorgesehen, dass eine Einstellung der Steigung einer im Wesentlichen linearen Abhängigkeit der Bildhelligkeit von der Beleuchtung erfolgt.

Beschreibung[de]

Die vorliegende Erfindung betrifft ein Verfahren zur Belichtungssteuerung für eine Kamera, mit mindestens einem Bildsensor, bei dem ein Bildhelligkeits-Sollwert vorgegeben wird und auf diesen Bildhelligkeits-Sollwert geregelt wird.

Die Erfindung betrifft ebenso eine Vorrichtung zur Belichtungssteuerung für eine Kamera, mit mindestens einem Bildsensor, bei dem ein Bildhelligkeits-Sollwert vorgegeben wird und auf diesen Bildhelligkeits-Sollwert geregelt wird.

Die Erfindung betriff auch eine Fahrzeugumfeldbeobachtungs-Kamera für Kraftfahrzeuge.

Künftig werden voraussichtlich immer mehr Kraftfahrzeuge Systeme zur Beobachtung des näheren und weiteren Umfelds des Fahrzeugs aufweisen. Dies schließt Systeme ein, welche die Bewegung des Fahrzeugs als Ganzes und als bewegliches Objekt in einem Verkehrsstrom auf der Straße ermitteln.

Auf Grundlage dieser Systeme kann eine zielgerichtete Führung und Lenkung des Fahrzeugs zur Fahrerassistenz oder zur Navigation und eine Erweiterung von Insassenschutzsystemen bis hin zur Aufprallvermeidung realisiert werden. Solche Systeme bilden auch die Basis für semiautonomes oder sogar autonomes Fahren.

Als Systeme zur Fahrzeugumfeldbeobachtung sind neben den zur Abstands- und Folgeregelung bekannten Radarsystemen insbesondere Kamerasysteme (Fahrzeugumfeldbeobachtungs-Kamera) mit bildgebenden Sensoren (Bildsensoren) auf der Basis des sichtbaren Lichts oder im Infrarotbereich geeignet.

Bei der Aufnahme fortlaufender Bilder im Fahrzeug mit einer Kamera z.B. zur Spurfindung mit Hilfe einer Bildverarbeitung sind die Belichtungsverhältnisse nicht konstant. Sie ändern sich teilweise sehr schnell wie bei Tunnelein- und /-Ausfahrten und umfassen einen weiten Dynamikbereich von hellem Sonnenschein bis zu Dunkelheit bei Nacht. Die Kamerasysteme müssen aber unter allen Bedingungen hinreichend sicher und genau arbeiten.

Dies erfordert einen sehr hohen Dynamikbereich des Systems. Dieser Dynamikbereich lässt sich mit heutzutage gängigen, preisgünstigen Kameras nicht mit einer Belichtungseinstellung abdecken. Üblicherweise werden hierzu die Blende und die Belichtungszeit angepasst.

Im Fahrzeug werden in der Regel Kameras mit LCD- oder CMOS-Sensoren verwendet. Der Belichtungszeit entspricht bei diesen Sensoren die Zeit, in der Licht gesammelt wird. Diese Zeit wird im folgenden auch „Integrationszeit" genannt. Sie kann rein elektronisch gesteuert werden. Eine mechanische Blende ist gewöhnlich nicht vorhanden. Statt dessen wird zusätzlich bei LCD- und CMOS-Kamerasensoren die Verstärkung eingestellt, bevor das Signal für die weitere Verarbeitung einem Analog-/Digitalwandler zugeführt wird.

Bisherige Regelverfahren messen kontinuierlich die Regelabweichung von einem Sollwert und versuchen diese Abweichung durch kontinuierliche Nachregelung möglichst klein zu halten.

Bei Auswertung der Bilder mit Hilfe von Bildverarbeitungssystemen ist es aber nicht immer vorteilhaft, jedes aufeinanderfolgende Bild in der Helligkeit zu regeln. Andererseits sollte, wenn geregelt werden muss, der Sollwert möglichst schnell eingestellt werden.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zur Regelung der Belichtung des Sensors anzugeben, mit dem auch bei wechselnden Lichtverhältnissen eine möglichst hoher Bildkontrast rasch und sicher eingestellt werden kann.

Diese Aufgabe wird nach der Erfindung durch die Merkmale der unabhängigen Patentansprüche gelöst. Durch die Merkmale der davon abhängigen Unteransprüche sind vorteilhafte Weiterbildungen angegeben.

Nach der Erfindung wird die Aufgabe dadurch gelöst, dass die Regelung auf Grundlage einer Funktion der Bildhelligkeit H in Abhängigkeit von der Beleuchtung B erfolgt.

Vorzugsweise erfolgt die Regelung durch eine Einstellung der Steigung &agr; einer im wesentlichen linearen Abhängigkeit der Bildhelligkeit H von der Beleuchtung B (Kennlinie K).

Es ist nach der Erfindung vorgesehen, dass die Einstellung der Steigung &agr; durch eine Regelung der Integrationszeit und/oder Verstärkung des Bildsensors erfolgt.

Erfindungsgemäß ist es vorgesehen, dass eine neue Steigung ermittelt wird aus der ursprünglichen Steigung &agr;1, dem Bildhelligkeits-Sollwert Hsoll und der aktuellen Bildhelligkeit Hist nach folgender Formel: &agr;2 = &agr;1·Hsoll/Hist

Nach der Erfindung ist es vorgesehen, dass als Bildhelligkeits-Sollwert Hsoll ein Bereich für den Sollwert Hsoll1,Hsoll2 vorgegeben wird.

Vorzugsweise wird ein Bereich für den Sollwert von 50 bis 90% des Sollwertes für die untere Grenze Hsoll1 und von 110% bis 130% des Sollwertes für die obere Grenze Hsoll2 vorgegeben.

Nach der Erfindung ist es vorgesehen, dass bei der Ermittlung der neuen Steigung &agr;2 eine vorgegebene Charakteristik der Kennlinie K mit berücksichtig wird.

Erfindungsgemäß ist es vorgesehen, dass, wenn die Kennlinie K nicht durch den Ursprung U geht, die neue Steigung &agr;2 unter Berücksichtigung zumindest eines Offset-Werts Offs1,Offs2 ermittelt wird nach folgender Formel: &agr;2 = &agr;1·(Hsoll – Offs1)/(Hist – Offs2)

Die zugrundeliegende Aufgabe wird auch durch eine Vorrichtung gelöst, bei der eine Bildauswertung mit einem Rechner erfolgt, mit welchem Rechner im wesentlichen auch die Belichtungssteuerung und Regelung bzw. Steuerung der Bildhelligkeit durchgeführt wird.

Vorzugsweise erfolgt die Einstellung der aktuellen Bildhelligkeit Hist auf die Sollbildhelligkeit Hsoll in einem Regelschritt.

Es ist erfindungsgemäß vorgesehen, dass bestimmte, relevante Pixel zur Messung der Bildhelligkeit ausgewählt werden und im wesentlichen auf diese Bereiche. die Bildhelligkeit geregelt wird.

Nach der Erfindung ist es vorgesehen, dass der Rechner dafür vorgesehen ist, über eine eingestellte Empfindlichkeit auf die aktuelle Bildhelligkeit der abgebildeten Szene zurückzurechnen und diesen Wert für das System oder andere Systeme zur Verfügung zu stellen.

Als Bildsensoren sind alle bekannten und denkbaren Sensoren für eine Bilderfassung geeignet, insbesondere Multisensorstrukturen aus lichtempfindlichen Elementen (Bildpunkten bzw. Pixeln), die in Zeilen- oder Matrixform angeordnet sind und ihr Licht aus der erfindungsgemäßen Optik erhalten. Es können auch Si-Bildsensoren (CCD Charge-Coupled Devices) verwendet werden. Bei den CCD-Bildsensoren werden durch das über eine transparente Elektrode einfallende Licht proportional zur Intensität und Belichtungszeit Ladungsträger erzeugt, die in einem „Potentialsumpf" (Si-SiO2-Grenzschicht) gesammelt werden. Mit weiteren Elektroden werden diese Ladungen in eine lichtundurchlässige Zone verschoben und in „analogen" Schieberegistern (Eimerkettenprinzip) zeilenweise in ein Ausgangsregister weitertransportiert, das mit hoher Taktrate seriell ausgelesen wird. Vorzugsweise werden aber auf CMOS-Technik beruhende Bildsensoren eingesetzt. Bei Verwendung von CMOS-Sensoren kann auch eine Blendensteuerung entfallen. Eine konstante Kontrastauflösung im gesamten Helligkeitsbereich wird ermöglicht. Diese Sensoren gestatten darüber hinaus vorteilhaft einen wahlfreien Zugriff auf die einzelnen Pixel bei gleichzeitig höherer Empfindlichkeit (höhere Ausleserate). Auch eine erste Vorverarbeitung der Signale auf dem Bildsensorchip ist möglich.

In einer besonders günstigen Ausführungsform der Erfindung werden an sich bekannte Formate für die Sensoren, vorzugsweise CMOS-Kamerasensoren, mit im wesentlichen einer VGA-Auflösung eingesetzt. Durch Verwendung der Standardformate sind die Kosten des Systems gering. Denn diese werden bereits in großen Stückzahlen gefertigt.

Die Erfindung ist aber ausdrücklich nicht auf die Verwendung dieser Standard-Sensoren beschränkt. Es ist beispielsweise vorgesehen, auch spezielle hochdynamische Sensoren beim optischen System nach der Erfindung zu verwenden. Insbesondere ist eine Anwendung von sogenannten TFA (Thin Film an ASIC)-Chips als Bildsensoren vorgesehen. Durch Einsatz dieser Sensoren kann ein Dynamikumfang von insgesamt größer 200 dB erreicht werden. Diese Systeme können dann auch bei geringer Lichtstärke, insbesondere in der Dämmerung oder in der Nacht, z.B. als Nachtsichtgeräte, eingesetzt werden.

Die erfindungsgemäße Vorrichtung wird vorzugsweise für eine Fahrzeugumfeldbeobachtungs-Kamera für Kraftfahrzeuge eingesetzt.

Die Erfindung wird in der nachfolgenden Beschreibung unter Bezugnahme auf die beiliegenden Abbildungen (1 bis 4) näher erläutert.

Die 1 zeigt schematisch ein Bildverarbeitungssystem,

Die 2 zeigt schematisch einen Verlauf der Bildhelligkeit H eines Sensors als Funktion der Beleuchtung B,

Die 3 zeigt schematisch ein Nachführen der aktuellen Bildhelligkeit Hist auf einen Bildhelligkeits-Sollwert (Sollbildhelligkeit) Hsoll.

Die 4 zeigt schematisch ein dritte Auftragung eines Verlaufs der Bildhelligkeit (Kennlinie K), der nicht durch den Ursprung (Nullpunkt) geht.

In der 1 ist ein Bildverarbeitungssystem für eine Kamera zur Fahrzeugumfeldbeobachtung schematisch dargestellt. Das Bildverarbeitungssystem besteht aus dem Bildaufnehmer 1 (Kamera mit Sensor), Bilddatenaufnehmer 2 (Framegrabber) und Rechnereinheit 3. Der Bilddatenaufnehmer 2 nimmt Bilddaten 4 von der Kamera 1 auf. Als Ausgangsdaten werden die aufgenommene Bilddaten 5 dann zum Rechner 3 geführt, der dies auswertet. Der Rechner hat auch eine Verbindung 6 zur Kamera 1, über die er die Kamera 1 konfigurieren kann.

Die 2 zeigt schematisch einen Verlauf der Bildhelligkeit H eines Sensors als Funktion der Beleuchtung B (Kennlinie K). Ausgangspunkt der Belichtungssteuerung ist die Tatsache, das die Sensoren unterhalb der Sättigungsschwelle (die im Idealfall bei der maximalen Bildhelligkeit Hmax liegt) ein im wesentlichen lineares Verhalten bezüglich der Beleuchtung, der Integrationszeit und der Verstärkung zeigen.

Die Steigung &agr; des linearen Verlaufs wird durch die eingestellte Integrationszeit und der eingestellten Verstärkung festgelegt: &agr; = K·Integrationszeit·Verstärkung

Die Proportionalitätskonstante K beinhaltet die Lichtempfindlichkeit des Sensors.

Um eine mittlere Bildhelligkeit H einzustellen, wird ein Sollwert Hsoll vorgegeben, auf den geregelt wird. Die Übertragung neuer Regelwerte an den Sensor kann die Bilddatenübertragung beeinträchtigen. Der Regelvorgang soll daher so selten wie möglich vorgenommen werden. Deshalb wird zusätzlich ein Toleranzfenster zwischen Hsoll1 und Hsoll2 vorgegeben, in dem sich die Bildhelligkeit bewegen darf, bevor die Regelung eingreift.

Die 3 zeigt schematisch ein Nachführen der aktuellen Bildhelligkeit Hist auf einen Bildhelligkeits-Sollwert (Sollbildhelligkeit) Hsoll. Verlässt die aktuelle Bildhelligkeit Hist das Toleranzfenster zwischen Hsoll1 und Hsoll2, so wird die Steigung der Kennlinie K1 derart verändert, dass die aktuelle Bildhelligkeit Hist wieder der Sollbildhelligkeit Hsoll entspricht. Die neue Steigung beschreibt eine neue Kennlinie K2.

Das Wesen der Erfindung besteht darin, dass die neue Steigung &agr;1 berechnet wird und damit das Nachführen der aktuellen Bildhelligkeit Hist auf die Sollbildheiligkeit Hsoll in einem Regelschritt erfolgt.

Wegen der linearen Abhängigkeit ergibt sich die neue Steigung &agr;2 aus der alten Steigung &agr;1, multipliziert mit dem Verhältnis der Sollbildhelligkeit Hsoll zur aktuellen Bildhelligkeit Hist: &agr;2 = &agr;1·Sollbildheiligkeit Hsoll/aktuelle Bildhelligkeit Hist

Hat man das neue &agr;2 ermittelt, wird wahlweise die Integrationszeit oder die Verstärkung oder auch beides angepasst, um die neue Kennlinie K2 möglichst genau einzustellen.

Nach dem Erkennen der Abweichung kann die neue Integrationszeit und/oder Verstärkung bei dem Sensor eingestellt werden und ist somit schon für das übernächste Bild aktiv. Bei einer typischen Bildwiederholfrequenz von 25Hz könnte somit bereits nach 40ms die neue Einstellung vorgenommen werden.

Die 4 zeigt schematisch die Situation, wenn die Kennlinien K3,K4 nicht durch den Ursprung U gehen. Dann wird der Offset Offs1 bzw. Offs2 bei den entsprechenden Helligkeiten abgezogen.

Die Erfindung beschränkt sich nicht nur auf Sensoren mit linearer Kennlinie. Bei Sensoren mit nicht linearer Kennlinie (z.B. logarithmischer) lässt sich der untere Ast der Kennlinie hinreichend genau durch eine Gerade annähern. Damit lässt sich dieses Verfahren auch auf Sensoren mit nicht linearer Kennlinie übertragen und damit die Bildhelligkeit auch bei Sensoren mit nicht linearer Kennlinie hinreichend gut auf einen Sollwert einstellen.

Typischerweise überdecken Sensoren mit nicht linearer Kennlinie einen wesentlich höheren Dynamikbereich als Sensoren mit linearer Kennlinie. Die Einstellung der Bildhelligkeit auf einen Sollwert ist bei Sensoren mit nicht linearer Kennlinie daher weniger kritisch als bei linearen Sensoren. Die erhöhte Ungenauigkeit bei der Berechnung der Regelparameter bei einer nicht linearen Kennlinie führt daher zu keiner nennenswerten Verschlechterung der Bildqualität.

Eine Kontrolle der Bildhelligkeit über den mit der Bildauswertung befassten Rechner bzw. Mikrocontroller oder Digitalem Signal Prozessor DSP, ist vorgesehen, so dass die aktuelle Bildhelligkeit auf die Sollbildhelligkeit in einem Regelschritt einzustellen ist.

Auch eine Auswahl der relevanten Pixel zur Messung der Bildhelligkeit ist vorgesehen. Bei einer Applikation wie z.B. Spurfindung füllt der für die Messung interessante Bereich nur einen Teil des Bildes aus. Die Belichtungssteuerung wird daher auf Pixel aus diesem Bereich beschränkt. So kann dieser Bereich optimal dargestellt werden.

Eine Übernahme der Funktion "Helligkeitssensor" ist ebenso vorteilhaft vorgesehen. Wenn der Rechner die Kontrolle über die absolute Einstellung von Verstärkung und Integrationszeit hat, kann er über die eingestellte Empfindlichkeit auf die aktuelle Helligkeit der abgebildeten Szene zurückrechnen und diesen Wert als Außenhelligkeit ausgeben. Dieser Wert kann z.B. benutzt werden, um die Scheinwerfer des Fahrzeugs zu steuern.


Anspruch[de]
  1. Verfahren zur Belichtungssteuerung für eine Kamera, mit mindestens einem Bildsensor, bei dem ein Bildhelligkeits-Sollwert (Hsoll) vorgegeben wird und auf diesen Bildhelligkeits-Sollwert (Hsoll) geregelt wird, dadurch gekennzeichnet, dass die Regelung auf Grundlage einer Funktion der Bildhelligkeit (H) in Abhängigkeit von der Beleuchtung (B) erfolgt.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Regelung durch eine Einstellung der Steigung (&agr;) einer im wesentlichen linearen Abhängigkeit der Bildhelligkeit (H) von der Beleuchtung (B) erfolgt (Kennlinie K).
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Regelung durch eine Einstellung der Steigung (&agr;) einer nicht linearen Abhängigkeit der Bildhelligkeit (H) von der Beleuchtung (B) erfolgt (Kennlinie K).
  4. Verfahren nach Anspruch 1,2 oder 3, dadurch gekennzeichnet, dass die Einstellung der Steigung (&agr;) durch eine Regelung der Integrationszeit und/oder Verstärkung des Bildsensors erfolgt.
  5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass eine neue Steigung ermittelt wird aus der ursprünglichen Steigung &agr;1, dem Bildhelligkeits-Sollwert Hsoll und der aktuellen Bildhelligkeit Hist nach folgender Formel: &agr;2 = &agr;1·Hsoll/Hist
  6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass als Bildhelligkeits-Sollwert Hsoll ein Bereich für den Sollwert Hsoll1,Hsoll2 vorgegeben wird.
  7. Verfahren nach einem der Ansprüche 4 bis 6, dadurch gekennzeichnet, dass bei der Ermittlung der neuen Steigung &agr;2 eine vorgegebene Charakteristik der Kennlinie K mit berücksichtig wird.
  8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass wenn die Kennlinie K nicht durch den Ursprung U geht, die neue Steigung &agr;2 unter Berücksichtigung zumindest eines Offset-Werts Offs1,Offs2 ermittelt wird nach folgender Formel: &agr;2 = &agr;1·(Hsoll – Offs1)/(Hist – Offs2)
  9. Vorrichtung zur Belichtungssteuerung für eine Kamera, mit mindestens einem Bildsensor, bei dem ein Bildhelligkeits-Sollwert Hsoll vorgegeben wird und auf diesen Bildhelligkeits-Sollwert Hsoll geregelt wird, insbesondere nach einem Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass eine Bildauswertung mit einem Rechner erfolgt, mit welchem Rechner im wesentlichen auch die Belichtungssteuerung und Regelung bzw. Steuerung der Bildhelligkeit durchgeführt wird.
  10. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, dass die Einstellung der aktuellen Bildhelligkeit Hist auf die Sollbildhelligkeit Hsoll in einem Regelschritt erfolgt.
  11. Vorrichtung nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass bestimmte, relevante Pixel zur Messung der Bildhelligkeit ausgewählt werden und im wesentlichen auf diese Bereiche die Bildhelligkeit geregelt wird.
  12. Vorrichtung nach einem der Ansprüche 9 bis 11, dadurch gekennzeichnet, dass der Rechner dafür vorgesehen ist, über eine eingestellte Empfindlichkeit auf die aktuelle Bildhelligkeit der abgebildeten Szene zurückzurechnen und diesen Wert für das System oder andere Systeme zur Verfügung zu stellen.
  13. Fahrzeugumfeldbeobachtungs-Kamera für Kraftfahrzeuge, dadurch gekennzeichnet, dass die Kamera eine Vorrichtung nach einem der vorangegangenen Ansprüche aufweist.
Es folgen 4 Blatt Zeichnungen






IPC
A Täglicher Lebensbedarf
B Arbeitsverfahren; Transportieren
C Chemie; Hüttenwesen
D Textilien; Papier
E Bauwesen; Erdbohren; Bergbau
F Maschinenbau; Beleuchtung; Heizung; Waffen; Sprengen
G Physik
H Elektrotechnik

Anmelder
Datum

Patentrecherche

Patent Zeichnungen (PDF)

Copyright © 2008 Patent-De Alle Rechte vorbehalten. eMail: info@patent-de.com