PatentDe  


Dokumentenidentifikation DE102006003222A1 26.07.2007
Titel Verfahren und Vorrichtung zur lokalen Farbbestimmung der Beleuchtung und Farbkorrektur von Bildern
Anmelder Ebner, Marc, Dr., 70199 Stuttgart, DE
Erfinder Ebner, Marc, Dr., 70199 Stuttgart, DE
DE-Anmeldedatum 24.01.2006
DE-Aktenzeichen 102006003222
Offenlegungstag 26.07.2007
Veröffentlichungstag im Patentblatt 26.07.2007
IPC-Hauptklasse G01J 3/46(2006.01)A, F, I, 20060124, B, H, DE
Zusammenfassung Wir haben ein Verfahren beschrieben, das mit Hilfe des dichromatischen Reflexionsmodells die Farbe der Lichtquelle lokal für jeden Bildpunkt bestimmt. Nachdem die Farbe der Lichtquelle je Bildpunkt vorliegt, können wir ein korrigiertes Ausgabebild berechnen, das unabhängig von der Farbe der Lichtquelle ist. Das Verfahren könnte z.B. im Bereich der automatischen Objekterkennung oder zur Farbkorrektur von Fotografien eingesetzt werden.
Die Erfindung betrifft insbesondere ein Verfahren und eine entsprechende Vorrichtung zum Korrigieren der ursprünglichen Farbe eines digitalen, digitalisierten bzw. elektronischen ursprünglichen Bildes, das mehrere Bildpunkte aufweist und mindestens ein Objekt abbildet, dessen Oberfläche durch das dichromatische Reflexionsmodell modelliert werden kann, um ein erzeugtes Bild mit zumindest einer realistischeren oder gar naturgetreuen Farbe des Objekts zu erhalten. Dazu werden folgende Schritte ausgeführt: Segmentierung des Bildes in Regionen; Bestimmung der Farbe der Lichtquelle sowie eines Konfidenzmaßes für eine oder mehrere Regionen anhand der Bildpunkte der Region bzw. anhand der Bildpunkte der Region und der Bildpunkte benachbarter Regionen; gewichtetes Mitteln der bestimmten Farben der Lichtquelle über mehrere Regionen, so daß die Farbe der Lichtquelle kontinuierlich für mehrere Bildpunkte des gesamten Bildes vorliegt; Korrigieren der Farbe mindestens eines Bildpunktes anhand der ursprünglichen Farbe des Bildpunktes und der bestimmten ...

Beschreibung[de]

Die Erfindung betrifft insbesondere ein Verfahren und eine Vorrichtung zur lokalen Farbbestimmung der Beleuchtung anhand eines digitalen, digitalisierten bzw. elektronischen ursprünglichen Bildes das mehrere Bildpunkte aufweist und mindestens ein Objekt abbildet. Die bestimmte Farbe der Beleuchtung kann genutzt werden, um ein erzeugtes Bild mit zumindest einer realistischeren oder gar naturgetreuen Farbe des Objekts zu erhalten.

Das visuelle System des Menschen nimmt Objektfarben als konstant und annähernd unabhängig von der Farbe der Beleuchtung wahr [63]. Diese Fähigkeit, Farben als konstant wahrzunehmen, wird als Farbkonstanz bezeichnet. Nehmen wir an, daß ein Betrachter sich in einem künstlich beleuchteten Raum befindet und einen gedeckten Tisch mit weißer Tischdecke betrachtet. Das Licht der Lichtquelle fällt auf die Tischdecke und wird von dort in das Auge des Betrachters reflektiert. Ein Teil des Lichts wird absorbiert, der Rest wird reflektiert. Da die Tischdecke weiß ist, wird das Licht gleichmäßig reflektiert. Das Licht von Glühbirnen ist meist etwas gelblich. Wir können auch annehmen, daß das Licht noch zusätzlich durch etwaige Lampenschirme leicht gelblich gefärbt wird. In diesem Fall wird also gelbliches Licht von der Tischdecke reflektiert. Für den Betrachter ist dennoch klar, daß die Tischdecke tatsächlich weiß ist. Ein menschlicher Betrachter nimmt die Farbe der Tischdecke unabhängig von der Farbe der Lichtquelle als weiß wahr. Wenn wir nun mit einer Digitalkamera ein Foto von dem gedeckten Tisch machen, so mißt der Sensor das durch das Objektiv fallende Licht und die gesamte Szene wirkt aufgrund der gelblichen Beleuchtung gelblich. Da die gemessene Information in digitaler Form vorliegt, kann sie nachbearbeitet werden und der Einfluß der Beleuchtung kann herausgerechnet werden. In der Fotographie ist dies unter der Bezeichnung Weißabgleich bzw. automatischer Weißabgleich bekannt. Die Bestimmung korrekter Objektfarben ist jedoch nicht nur für die Fotographie, sondern auch für die automatische farbbasierte Objekterkennung von großer Wichtigkeit.

Bei der Entwicklung von Algorithmen zur Farbkonstanz gibt es zwei grundsätzlich unterschiedliche Ziele. Zum einen wird versucht, die Reflektanz der Objekte, als der Anteil des Lichts, das reflektiert wird, zu bestimmen. Die Reflektanz ist per Definition unabhängig von der Farbe der Lichtquelle. Sie hängt lediglich von der Wellenlänge des Lichts ab. Zum anderen wird versucht, das Verfahren, mit dem der Mensch die Farben als konstant wahrnimmt, nachzubilden. Die menschliche Farbwahrnehmung korreliert mit der integrierten Reflektanz [48]. Jedoch bestimmt das visuelle System des Menschen nicht die Reflektanz der Objekte [33]. Tatsächlich ist dies auch nicht möglich, wenn wir von drei Messungen je Bildpunkt ausgehen und je Bildpunkt weder die Reflektanz noch die Farbe der Lichtquelle kennen. Um das Problem dennoch zu lösen, müssen eine Reihe von Annahmen getroffen werden.

Viele der Algorithmen zur Farbkonstanz, die aus der Literatur bekannt sind, gehen davon aus, daß die Beleuchtung über das gesamte Bild konstant ist. Wenn wir nun noch davon ausgehen, daß irgendwo im Bild eine weiße Fläche vorhanden ist, die das einfallende Licht vollständig reflektiert, dann kann aus dem Licht das von dieser Fläche reflektiert wird, die Farbe der Lichtquelle geschätzt werden. Dieser Algorithmus wird als White-Patch-Retinex Algorithmus bezeichnet [6, 27, 28]. Eine weitere Annahme, die häufig gemacht wird, ist z.B., daß die Reflektanzen gleichmäßig verteilt sind und daher im Mittel grau sind. Dies ist die sog. Graue-Welt-Hypothese [5, 32].

Forsyth [25, 26] entwickelte ein Verfahren, das den Farbraum als Ganzes betrachtet. Die Farbkorrektur wird durch Skalierung der Farbwerte vorgenommen. Auf diese Weise wird der Farbraum des Bildes in einen kanonischen Farbraum überführt. Finlayson [17] entwickelte eine zweidimensionale Variante des Verfahrens, um die Datenmenge zu reduzieren und zugleich das Verfahren robuster zu machen. Nach Paulus et al. [52] besteht auch die Möglichkeit, den Farbraum anhand der Hauptachsen auszurichten.

Finlayson et al. [24] haben eine umfassende Farbnormierung, bei der sowohl der Mittelwert der Bildpunkte als auch die Summe der Farbkanäle normiert werden, vorgeschlagen. Ein weiterer Ansatz besteht in der Zerlegung des Raumes der Reflektanzen und des Raumes der Lichtquellen in Basisfunktionen. In diesem Fall sind die Koeffizienten dieser Basisfunktionen zu bestimmen [29, 30, 31, 34, 46, 47, 50, 61].

Untersuchungen, ob Farbkonstanz anhand eines Datensatzes erlernt werden kann, wurden von Hurlbert und Poggio [38, 39] unternommen. Neuronale Netzwerke wurden von Pomierski und Groß [53] sowie von Funt et al. [28] im Bereich Farbkonstanz eingesetzt. D'Zmura und Lennie [9], Dufort und Lumsden [8], Usui und Nakauchi [60] sowie von Courtney et al. [7] schlugen jeweils unterschiedliche neuronale Architekturen vor. Cardei und Funt [6] haben einen Komitee-basierten Ansatz vorgeschlagen. Die Korrelation zwischen Beleuchtung und der Farbe eines Bildes kann ebenfalls ausgenutzt werden, wie Bernard et al. [2] bzw Finlayson et al. [22] gezeigt haben.

Die genannten Algorithmen gehen davon aus, daß die Beleuchtung innerhalb eines Bildes konstant ist. Zusätzlich verwenden sie die Annahme, daß das Licht gleichmäßig, also diffus reflektiert wird. Vor allem auf metallische oder lackierte Oberflächen trifft dies jedoch nicht zu. Metallische oder lackierte Oberflächen reflektieren das Licht nicht nur diffus sondern spiegeln auch einen Teil des einfallenden Lichts. Falls sich die Lichtquelle in den Objekten spiegelt, führt dies zu sehr hellen Bereichen im Bild. Der Betrachter blickt an diesen Stellen in die Lichtquelle. Da die Lichtquelle über die Spiegelung sichtbar ist, kann aus der Spiegelung die Farbe der Lichtquelle ermittelt werden. Die Modellierung der Oberflächenreflektion, basierend aus diffusem und gespiegeltem Licht, wird als dichromatisches Reflektionsmodell bezeichnet. Verfahren, die auf dem dichromatischen Reflektionsmodell beruhen, wurden von Tominaga [58], Tominaga und Wandell [59], Finlayson und Schaefer [23], Risson [56] und Ebner und Herrmann [15] entwickelt.

In der Praxis ist die Beleuchtung meist nicht konstant. Oft ist eine Mischung zwischen Sonnenlicht und künstlichem Licht gegeben. Nur wenige Algorithmen sind auch für eine Beleuchtung ausgelegt, die innerhalb des Bildes variiert. Land und McCann [45] (siehe auch [41, 42, 43, 44]) entwickelten die sog. Retinex-Theorie. Eine vereinfachte Variante der Retinex-Theorie, die von einer uniformen Beleuchtung ausgeht, wird als White-Patch-Retinex Algorithmus bezeichnet [6, 27, 28]. Das von Land und McCann entwickelte Verfahren verwendet einen Schwellwert, um Änderungen in der Beleuchtung von einer Änderung der Reflektanz zu unterscheiden. Dabei werden benachbarte Bildpunkte betrachtet und starke Intensitätsänderungen als Änderung der Reflektanz interpretiert. Kleinere Änderungen werden als Änderung der Beleuchtung interpretiert und aus dem Bild herausgerechnet. Es wurden mehrere Veränderungen bzw. Verbesserungen zur Retinex-Theorie vorgeschlagen [4, 29, 37]. Horn [35, 36] erweiterte die ursprüngliche Fassung der Retinex-Theorie auf den zweidimensionalen Raum. Blake [3] schlug vor, die Schwellwertoperation bereits auf die erste Ableitung anzuwenden. Moore et al. [49] implementierten das Verfahren in VLSI. Von Rahman et al. [55] wurde vorgeschlagen, das Bild gleichzeitig auf mehreren Ebenen zu verbessern. Ebner [12, 13, 11, 10] entwickelte Verfahren zur Farbkorrektur von Bildern, das die ursprüngliche Farbe der Bildpunkte anhand der durchschnittlichen lokalen Farbe korrigiert. Ebner [14] beschreibt einen Ansatz zur Farbkorrektur durch Bestimmung der durchschnittlichen lokalen Farbe der Bildpunkte entlang Iso-Beleuchtungslinien.

Ein weiterer Ansatz ist die Verwendung der homomorphischen Filterung des Bildes [16, 51]. Bei der homomorphischen Filterung wird das Bild in einen Raum transformiert, in dem die gewünschte Operation leichter durchzuführen ist. Da Änderungen der Reflektanz meist abrupt im Bild auftreten, während Beleuchtungsänderungen meist nur sehr klein sind, bietet sich eine Transformation des Bildes in den Frequenzraum an. Dort können niederfrequente Änderungen unterdrückt werden. Der Farbraum-basierte Ansatz von Finlayson [17] bzw Forsyth [25, 26] wurde von Barnard et al. [1] auf Szenen mit variabler Beleuchtung innerhalb eines Bildes erweitert.

Weitere Verfahren zur Berechnung sog. intrinsischer Bilder, die nur ein charakteristisches Merkmal, wie z.B. die Reflektanz, aufweisen, wurden von Weiss [62] und von Tappen et al. [57] entwickelt. Das Verfahren von Weiss [62] geht davon aus, daß eine ganze Bildreihe zur Verarbeitung vorliegt. Tappen et al. [57] trainierten einen Klassifizierer. Finlayson et al. verwenden die Annahme, daß die Lichtquelle durch einen schwarzen Strahler approximiert werden kann [18, 19, 21]. Viele natürliche Lichtquellen, wie z.B. eine Kerzenflamme, das Licht einer Glühbirne oder Sonnenlicht kann durch einen schwarzen Strahler approximiert werden. Bevor das Verfahren eingesetzt werden kann, muß zuvor eine Kalibrierung der Kamera vorgenommen werden. Finlayson et al. [20] entwickelten das Verfahren weiter, so daß es ohne vorhergehende Kalibrierung der Kamera auskommt.

Im folgenden gehen wir näher auf das dichromatische Reflektionsmodell ein. Spiegelnde Oberflächen können mit Hilfe des dichromatischen Reflektionsmodells beschrieben werden. Nach dem dichromatischen Reflektionsmodell setzt sich die Farbe des Objekts aus einer diffusen und einer spiegelnden Komponente zusammen [58, 9, 23, 15]. Die Farbe des Objekts wird im wesentlichen durch den Anteil der matten Reflektin beschrieben. Helle Stellen treten an den Punkten des Objekts auf, an denen sich die Lichtquelle im Objekt spiegelt. Es sei S(&lgr;) ein Vektor, der die Absorptionscharakteristik des Sensors beschreibt. Bei einem RGB-Sensor haben wir drei unterschiedliche Absorptionscharakteristika, also S = [Sr(&lgr;), Sg(&lgr;), Sb(&lgr;)]. Die Funktion Si(&lgr;) mit i ∊ {r, g, b} beschreibt die Absorptionscharakteristik des i-ten Sensors im roten, grünen bzw. blauen Teil des Spektrums. Es sei E(&lgr;) das Licht, das auf den Sensor trifft. In diesem Fall ist die Antwort des Sensors I durch I = ∫ E(&lgr;)S(&lgr;)d&lgr; gegeben. Wir gehen nun davon aus, daß das Licht zunächst auf ein Objekt trifft. Ein Teil des Lichts wird matt reflektiert und ein Teil des Lichts wird gespiegelt. Es seien sM und sS zwei Skalierungsfaktoren, RM(&lgr;) die Reflektanz des Objekts im Bezug auf die matte Reflektion und RS(&lgr;) die Reflektanz des Objekts im Bezug auf den gespiegelten Anteil des Lichts. Beim dichromatischen Reflektionsmodell ist die Antwort des Sensors I dann wie folgt gegeben [23] I = ∫ (sMRM(&lgr;)E(&lgr;) + sSRS(&lgr;)E(&lgr;))S(&lgr;)d&lgr;.

Die beiden Skalierungsfaktoren hängen von der Objektgeometrie ab.

Wenn wir nun annehmen, daß die Sensoren nur auf eine einzige Wellenlänge oder nur auf einen sehr kleinen Bereich des Spektrums ansprechen, so können wir die Antwortcharakteristik der Sensoren durch Delta-Funktionen modellieren. In diesem Fall haben wir Si(&lgr;) = &dgr;(&lgr; – &lgr;i) mit i ∊ {r, g, b}. Wir erhalten nun Ii = sMRM,iEi + sSRS,iEi.

Nun nehmen wir an, daß der Anteil des gespiegelten Lichts über alle Wellenlängen gleichmäßig erfolgt. In diesem Fall, können wir RS,i = 1 setzen. D.h., wir modellieren den Anteil des gespiegelten Lichts als perfekten Spiegel. Wir erhalten nun Ii = SMRM,iEi + sSEi.

Es sei CM = [RM,rEr,RM,gEg,RM,bEb] die Farbe aufgrund der matten Reflektion, und CS = [Er, Eg, Eb] die Farbe der Lichtquelle. Wir sehen nun, daß die Farbe, die durch den Sensor gemessen wird, eine Linearkombination aus der matten Objektfarbe CM und der Farbe der Lichtquelle CS darstellt. Die matte Objektfarbe hängt von der Farbe der Lichtquelle CS ab. Die beiden Vektoren CM und CS definieren eine Ebene im RGB Farbraum [9]. An der Stelle, an der sich die Lichtquelle spiegelt, ist die Intensität sehr hoch. Die Farbe befindet sich in der Nähe des Vektors CS. Weiter entfernte Punkte sind nicht so hell und nähern sich dem Vektor CM.

Die RGB-Koordinaten können auf die Ebene r + g + b = 1 projiziert werden [23]. In diesem Fall erhalten wir eine Linie im Chromatizitätsraum. Die Chromatizitätswerte einer einfarbigen Oberfläche sind alle entlang dieser Linie, die als dichromatische Linie bezeichnet wird, angeordnet. Es seien [rO, gO]T die Chromatizität der matten Objektfarbe und [rE, gE]T die Chromatizität der Farbe der Lichtquelle. Die Punkte, die zur dichromatischen Linie gehören, sind daher durch

gegeben, wobei s ein Skalierungsfaktor ist. Wenn wir mehrere unterschiedliche Oberflächen betrachten, so erhalten wir für jede Oberfläche eine dichromatische Linie. Unter der Annahme, daß die Farbe der Lichtquelle über das gesamte Bild uniform ist, so haben alle dichromatischen Linien einen gemeinsamen Punkt: die Farbe der Lichtquelle.

Für die einzelnen Punkte einer Oberfläche können wir die Kovarianzmatrix berechnen. Wir bestimmen dann den Eigenvektor des größten Eigenwerts. Dieser gibt die Richtung der dichromatischen Linie an. Im Schnittpunkt der bestimmten Linien liegt die Chromatizität der Lichtquelle. Nach Finlayson und Schaefer [23] arbeiten die Algorithmen, die auf dem dichromatischen Reflektionsmodell basieren, nur unter kontrollierten Bedingungen und für stark gesättigte Oberflächen, gut. Meist ist der Schätzwert für die Farbe der Lichtquelle nicht sehr genau. Falls Rauschen vorhanden ist, kann der berechnete Schnittpunkt stark von dem tatsächlichen Schnittpunkt abweichen. Finlayson und Schaefer [23] berichten, daß das Verfahren für reale Bilder nicht sehr zuverlässig arbeitet. Sie gehen zudem davon aus, daß die Bilder bereits in Regionen segmentiert sind.

Finlayson und Schaefer schlagen vor, das Verfahren robuster durch Einschränkung der möglichen Lichtquellen zu machen. Viele natürliche Lichtquellen, wie z.B. das Licht einer Flamme, einer Glühbirne oder Sonnenlicht kann durch einen schwarzen Strahler approximiert werden. Die Chromatizitäten des Tageslichts beschreiben annähernd die gleiche Kurve wie die des schwarzen Strahlers [40]. Das Spektrum des schwarzen Strahlers E(&lgr;, T) hängt von seiner Temperatur T ab. Es kann durch die folgende Gleichung beschrieben werden

wobei T die Temperatur gemessen in Kelvin, h = 6.626176·10–34Js die Planck'sche Konstante, kB = 1.3806·10–23JK Boltzmann Konstante und c = 2.9979·108ms die Geschwindigkeit des Lichts ist. Wenn wir die Chromatizitäten des schwarzen Strahlers für unterschiedliche Temperaturen im CIE XYZ Farbraum betrachten, so erhalten wir eine Kurve, die durch eine quadratische Gleichung approximiert werden kann.

Nehmen wir an, daß wir die dichromatische Linie der Punkte, die zu einer einfarbigen Oberfläche gehören, berechnet haben. Unter der Annahme, daß die Lichtquelle durch einen schwarzen Strahler approximiert werden kann, könnten wir bereits anhand einer einzigen einfarbigen Oberfläche die Farbe der Lichtquelle bestimmen [23]. Die Farbe der Lichtquelle befindet sich am Schnittpunkt zwischen der dichromatischen Linie und der quadratischen Gleichung, die den schwarzen Strahler approximiert. Da wir den Schnittpunkt mit einer quadratischen Gleichung bestimmen, erhalten wir entweder keinen Schnittpunkt, einen Schnittpunkt oder zwei Schnittpunkte. Falls wir keinen Schnittpunkt erhalten, so könnten wir den nächsten Punkt auf der Kurve der Chromatizitäten des schwarzen Strahlers wählen. Falls wir einen Schnittpunkt erhalten, beschreibt dieser die Farbe der Lichtquelle. Falls wir zwei Schnittpunkte erhalten, liegt die tatsächliche Farbe entweder zwischen den beiden Schnittpunkten oder einer der beiden Punkte beschreibt die tatsächliche Farbe der Lichtquelle. Algorithmen, die auf der Annahme basieren, daß die Welt grau ist [5, 32, 13, 14, 12, 11], benötigen eine ausreichend große Zahl unterschiedlich farbiger Oberflächen im Bild. Nur dann arbeiten die Algorithmen korrekt.

Risson [56] erweiterte das Verfahren von Finlayson und Schaefer. Er schlug vor, die Farbe der Lichtquelle zu bestimmen, indem das Bild zunächst segmentiert wird. Dann werden Regionen, die nicht im Einklang mit dem dichromatischen Reflektionsmodell stehen, entfernt. Die Schritte des Verfahrens lassen sich wie folgt zusammenfassen. Zunächst wird Rauschen aus dem Bild durch Anwendung eines Glättungsfilters oder durch Anwendung eines Medianfilters entfernt. Dann wird das Bild in Regionen segmentiert. Regionen, die nicht im Einklang mit dem dichromatischen Reflektionsmodell stehen, wie z.B. farblose Regionen oder Regionen, die zum Himmel gehören, werden entfernt. Zusätzlich wird eine Mindestgröße für die Regionen vorgeschrieben. Risson schlug vor, Regionen, deren Sättigung unter 12% liegt, zu entfernen. Für alle verbliebenen Regionen wird eine dichromatische Linie berechnet. Nach der Theorie befindet sich die Farbe der Lichtquelle im Schnittpunkt der dichromatischen Linien. Tatsächlich schneiden sich die Linien aber aufgrund verrauschter Daten nicht in einem einzigen Punkt. Wir müssen daher einen Punkt anhand der Datenmenge auswählen. Bei der Auswahl könnten wir zusätzlich annehmen, daß die Farbe der Lichtquelle durch einen schwarzen Strahler approximiert werden kann. Ebner und Herrmann [15] untersuchten eine Reihe von Verfahren zur Bestimmung dieses Punktes. Es zeigte sich, daß es besser ist, keine Annahmen über die Farbe der Lichtquelle zumachen. Ein geeignetes Verfahren zur Bestimmung des Schnittpunktes ist die Berechnung der Schnittpunkte von jeweils zwei dichromatischen Linien. Für n dichromatische Linien haben wir dann die Schnittpunkte pi = [xi, yi] mit i ∊ {1, ..., 12n(n – 1)}. Die Farbe des Lichts p kann durch Anwendung des Median Operators bestimmt werden. p = [Median{xi}, Median{yi}] wobei Median die Berechnung des Medians der gegebenen Menge ist.

Der Offenbarungsgehalt der genannten Druckschriften bzw. Veröffentlichungen ist hiermit in den Offenbarungsgehalt dieser Beschreibung einbezogen.

Die Erfindung betrifft insbesondere ein Verfahren und eine Vorrichtung zur lokalen Farbbestimmung der Beleuchtung anhand eines digitalen, digitalisieren bzw. elektronischen ursprünglichen Bildes das mehrere Bildpunkte aufweist und mindestens ein Objekt abbildet.

Es ist die Aufgabe der vorliegenden Erfindung ein verbessertes Verfahren, eine verbesserte Vorrichtung, ein verbessertes System, ein verbessertes Computerprogramm mit einer Programmcode Einrichtung, ein verbessertes Computerprogrammprodukt, ein verbessertes Datenverarbeitungssystem und/oder entsprechende Verwendungen, Einrichtungen, eine Digitalkamera, einen Flachbildschirm, ein Flachbildfernsehgerät, ein TFT-Display usw. zur lokalen Farbbestimmung der Beleuchtung anhand eines digitalen, digitalisierten bzw. elektronischen ursprünglichen Bildes das mehrere Bildpunkte aufweist und mindestens ein Objekt abbildet, bereitzustellen. Die bestimmte Farbe der Beleuchtung kann dann genutzt werden, um ein erzeugtes Bild mit zumindest einer realistischeren oder gar naturgetreuen Farbe des Objekts zu erhalten.

Diese Aufgabe wird mit den Merkmalen der entsprechenden Ansprüche gelöst.

Die Erfindung betrifft insbesondere ein Verfahren und eine entsprechende Vorrichtung zur lokalen Farbbestimmung der Beleuchtung anhand eines digitalen, digitalisierten bzw. elektronischen ursprünglichen Bildes das mehrere Bildpunkte aufweist und mindestens ein Objekt abbildet bereitzustellen. Die bestimmte Farbe der Beleuchtung kann dann genutzt werden, um ein erzeugtes Bild mit zumindest einer realistischeren oder gar naturgetreuen Farbe des Objekts zu erhalten. Insbesondere mit den folgenden Schritten:

  • • Segmentierung des Bildes in Regionen.
  • • Bestimmung der Farbe der Lichtquelle für eine oder mehrere Regionen anhand der Bildpunkte der Region bzw. anhand der Bildpunkte der Region und der Bildpunkte benachbarter Regionen.
  • • Mitteln der bestimmten Farben der Lichtquelle über mehrere Regionen, so daß die Farbe der Lichtquelle kontinuierlich für mehrere Bildpunkte des gesamten Bildes vorliegt.

Anhand der ursprünglichen Farbe des Bildpunktes und der bestimmten Farbe des Bildpunktes kann eine korrigierte Farbe je Bildpunkt bestimmt werden. Die zeigt das Ablaufschema des Verfahrens.

Der Gegenstand der Erfindung betrifft ein Verfahren um die Farbe der Lichtquelle lokal für jeden Bildpunkt zu bestimmen. Existierende Verfahren gehen meist davon aus, daß das Bild von einer Lichtquelle beleuchtet wird. Falls mehrere Lichtquellen, die Szene beleuchten, so wird in der Regel davon ausgegangen, daß die Lichtquellen die gleiche Farbe besitzen. Diese Einschränkung wird von dem hier beschriebenen Verfahren nicht gemacht. In der Praxis ist meist eine unterschiedliche Beleuchtung wie z.B. Sonnenlicht, das durch ein Fenster fällt und künstliche Beleuchtung im Innern eines Raumes, gegeben. Im Gegensatz zu anderen Verfahren, die auf einer ganz bestimmten Annahme wie z.B. daß die Welt im Mittel grau ist, oder daß sich die Lichtquelle am betrachteten Punkt spiegelt, beruhen, werden hier lokal für jeden Bildpunkt auf unterschiedliche Arten die Farbe der Lichtquelle für diesen Punkt bestimmt. Anhand eines Konfidenzmaßes wird entschieden, welche Art der Bestimmung am besten geignet ist. Durch Mittelung wird aus den lokal bestimmten Farben je Pixel ein Farbverlauf für das Bild bestimmt. Das Verfahren kann in Digitalkameras eingesetzt werden, um natürlich aussehendere Bilder zu liefern. Die Farbe der Lichtquelle wird aus dem Bild herausgerechnet. Die Erfindung kann auch in einem Flachbildschirm, einem Flachbildfernsehgerät oder einem TFT-Display eingesetzt werden.

Die Erfindung bzw. bevorzugten Ausführungsformen werden nachfolgend anhand der beiliegenden Abbildungen beispielhaft beschrieben. Es zeigen:

Ablaufschema des Verfahrens.

Ein in Regionen segmentiertes Bild.

Verbleibende Regionen des Bildes. Für jede Region wird eine dichromatische Linie berechnet.

Für jede Region kann die Farbe der Lichtquelle unter der Annahme bestimmt werden, daß die Lichtquelle durch einen schwarzen Strahler approximiert werden kann.

Für jede Region kann die Farbe der Lichtquelle anhand der dichromatischen Linien der Region und der Nachbarregionen bestimmt werden.

Meist ist die Beleuchtung über das Bild nicht gleichmäßig. In einem Raum können wir z.B. zum Teil künstliches Licht als auch Sonnenlicht haben, das die Szene beleuchtet. In diesem Fall müssen wir die Farbe der Lichtquelle für jeden einzelnen Bildpunkt bestimmen. Hierzu segmentieren wir das Bild in nr einzelne Regionen Rj mit j ∊ {1, ..., nr}. Dies ist in dargestellt. Rj ={c(x, y)| Bildpunkt (x, y) gehört zur Region j}

Für jede Region bestimmen wir nun eine dichromatische Linie. Durch Betrachtung der dichromatischen Linien benachbarter Regionen können wir für jede Region die Farbe der Lichtquelle abschätzen.

Da wir die dichromatische Linie nur dann bestimmen können, wenn das dichromatische Reflektionsmodell auf die abgebildete Oberfläche anwendbar ist, werden zunächst geeignete Regionen ausgewählt. Regionen, deren durchschnittliche Farbe annähernd Grau ist, werden entfernt. Da wir zur Berechnung der dichromatischen Linie mindestens zwei Punkte benötigen, jedoch bei einer größeren Zahl von Bildpunkten genauere Statistiken erhalten, verwenden wir nur Regionen, deren Zahl Bildpunkte über einem Schwellwert von z.B. 5 Bildpunkten liegt. Wir berechnen dann für jede verbleibende Region die Kovarianzmatrix der Chromatizitäten der Bildpunkte.

Es seien cj,k mit k ∊ [1, ..., nj] die gemessenen Farbwerte der Region j. Die Chromatizität des Farbwerts c = [cr, cg, cb] ist durch

gegeben. Es sei
der Mittelwert der Chromatizitäten. Dann ist die (2 × 2) Kovarianzmatrix C(j) der Region j durch Cj = E[(ĉj,k – mj)(ĉj,k – mj)T] gegeben, wobei E den Erwartungswert bezeichnet. Wir bestimmen nun die Eigenvektoren und zugehörigen Eigenwerte der Kovarianzmatrix durch Singulärwertzerlegung. Regionen, deren kleinerer Eigenwert der Kovarianzmatrix relativ groß ist, erfüllt das dichromatische Reflektionsmodell nur schlecht. Daher könnten wir Regionen, deren kleinerer Eigenwert größer als ein Schwellwert ist, nicht weiter berücksichtigen. Wir könnten auch die Regionen entfernen, deren beide Eigenwerte annähernd gleich groß sind. Wir können aber auch alle dichromatischen Linien zunächst beibehalten.

Es sei ej der normalisierte Eigenvektor der Region j, der zum größten Eigenwert gehört. Die dichromatische Linie Lj der Region j ist dann durch Lj = {mj + sej| mit s ∊ R}. gegeben. zeigt die verbleibenden Regionen mit den dichromatischen Linien. Die Nachbarregionen von Region j seien durch Nj gegeben. Nj = {R(k)|Rk ist benachbart zu Rj}

Wir berechnen nun für jede der verbleibenden Regionen die Menge der Schnittpunkte zwischen der dichromatischen Linie der Region und der dichromatischen Linie benachbarter Regionen. Es sei Sj die Menge der Schnittpunkte.

Dies ist in dargestellt. Die Regionen B, C, und D sind Nachbarregionen von Region A. Die Schnittpunkte werden zwischen allen vier Regionen berechnet.

Aus der Menge der Schnittpunkte können wir die Farbe der Lichtquelle, z.B. durch Mittelung, bestimmen.

Anstatt den Mittelwert zu bestimmen, können wir auch den Median der beiden Komponenten berechnen

wobei Median die Berechnung des Median bezeichnet. Es sei [rL, gL] die Chromatizität der Lichtquelle, die mit einer der beiden Varianten bestimmt wurde. Dann ist die Farbe der Lichtquelle durch [rL, gL,1 – rL – gL] gegeben.

Die Standardabweichung &sgr;j der Schnittpunkte kann als Genauigkeit der bestimmten Farbe herangezogen werden.

Wenn die Standardabweichung der bestimmten Schnittpunkte sehr klein ist, dann kann die Farbe der Lichtquelle sehr genau bestimmt werden. Bei großer Standardabweichung kann die Farbe der Lichtquelle nur ungenau bestimmt werden.

Für jede Region können wir alternativ auch die Farbe der Lichtquelle bestimmen, indem wir die Annahme machen, daß die Lichtquelle durch einen schwarzen Strahler approximiert werden kann. Die Chromatizität des schwarzen Strahlers im CIE XYZ Farbraum kann durch die folgende quadratische Gleichung im Bereich 0.2 ≤ x ≤ 0.7 approximiert werden y = ax2 + bx + c wobei a = –2.7578, b = 2.7318 und c = –0.2619. Wir können also für jede Region die Chromatizität der Lichtquelle bestimmen, indem wir eine Transformation in den CIE XYZ Farbraum vornehmen, dort den Schnittpunkt berechnen und dann die Chromatizität wieder zurück in den Farbraum der Kamera transformieren. Dies ist in dargestellt. In diesem Fall kann ohne Datenaustausch zwischen benachbarten Regionen die Farbe der Region (hier Region A) bestimmt werden. Wir können den Winkel zwischen der dichromatischen Linie und der Kurve der Tangente am Schnittpunkt als Maß für die Genauigkeit der bestimmten Farbe heranziehen. Wenn der Winkel sehr steil ist, wurde die Farbe genau bestimmt, falls der Winkel sehr klein ist, dann kann die Farbe der Lichtquelle nur ungenau bestimmt werden. Falls sich die dichromatische Linie gar nicht oder gar zweimal mit der Kurve des schwarzen Strahlers schneidet, kann die Farbe der Lichtquelle nur sehr ungenau bestimmt werden.

Aus den für die einzelnen Regionen bestimmten Farben der Lichtquelle können wir durch Mittelung der Daten über das gesamte Bild die Farbe der Lichtquelle für jeden Bildpunkt schätzen. Es sei Lj die für die Region j bestimmte Farbe. Wir können entweder annehmen, daß die Farbe der Lichtquelle für alle Bildpunkte, die zu der Oberfläche gehören, identisch ist, oder wir verwenden die bestimmte Farbe der Lichtquelle nur für einen einzelnen Bildpunkt, zum Beispiel den Schwerpunkt, der Oberfläche. Für diese Punkte sei die geschätzte Farbe der Lichtquelle L(x, y). Für die bestimmte Farbe können wir ein Gewicht im Bereich [0,1] vergeben, das angibt, wie genau die Farbe des Punktes bestimmt werden konnte. Es sei w(x, y) das zum Bildpunkt gehörende Gewicht. Punkte, deren Farbe der Lichtquelle nicht bestimmt werden konnte, bekommen das Gewicht w(x, y) = 0 zugewiesen. Punkte mit dem Gewicht 0 werden nicht in die Mittelung eingehen. Die Farbe der Lichtquelle ist dann durch L(x, y) = k(x, y) ∫ ∫ w(x', y')L(x', y')g(x, y, x', y')dx'dy' gegeben wobei g(x, y, y', y') ein Glättungskern ist und die Konstante k(x, y) so gewählt wird, daß k(x, y) ∫ ∫ w(x', y')g(x, y, x', y')dx'dy' = 1 gilt. Als Glättungskern können wir z.B

oder
verwendet, wobei &sgr; die Stärke der Glättung angibt.

Nachdem wir für jeden Bildpunkt die Farbe der Lichtquelle bestimmt haben, können wir ein Ausgabebild berechnen, das unabhängig von der Farbe der Lichtquelle ist. Im Modell geht die Farbe der Lichtquelle multiplikativ in die gemessene Farbe ein. Daher müssen wir die gemessene Farbe c(x, y) am Bildpunkt (x, y) durch die geschätzte Farbe der Lichtquelle L (x, y) dividieren. Die korrigierte Farbe des Bildpunktes o ist daher durch

gegeben. Falls wir die ursprüngliche Helligkeit des Punktes beibehalten möchten, berechnen wir die Helligkeit der korrigierten Farbe L' = wror + wgog + wbob z.B. mit wr = 0.2125, wg = 0.7154, wb = 0.0721 für einen linearen RGB-Farbraum (siehe Poynton [54]). Es sei L = wrcr + wgcg + wbcb die Helligkeit der gemessenen Farbe des Bildpunktes. Dann ist
die korrigierte Farbe o' des Bildpunktes, wobei die Helligkeit der ursprünglich gemessenen Farbe beibehalten wird.

Zitierter in die Offenbarung einbezogener Stand der Technik bzw. Literatur Literatur

  • [1] Kobus Barnard, Graham Finlayson, and Brian Funt. Color constancy for scenes with varying illumination. Computer Vision and Image Understanding, 65(2):311-321, February 1997.
  • [2] Kobus Barnard, Lindsay Martin, and Brian Funt. Colour by correlation in a three dimensional colour space. In David Vernon, editor, Proceedings of the 6th European Conference on Computer Vision, Dublin, Ireland, pages 375-389, Berlin, 2000. Springer-Verlag.
  • [3] Andrew Blake. Boundary conditions for lightness computation in mondrian world. Computer Vision, Graphics, and Image Processing, 32:314-327, 1985.
  • [4] David H. Brainard and Brian A. Wandell. Analysis of the retinex theory of color vision. In Glenn E. Healey, Steven A. Shafer, and Lawrence B. Wolff, editors, Color, pages 208-218, Boston, 1992. Jones and Bartlett Publishers.
  • [5] G. Buchsbaum. A spatial processor model for object colour perception. Journal of the Franklin Institute, 310(1):337-350, July 1980.
  • [6] Vlad C. Cardei and Brian Funt. Committee-based color constancy. In Proceedings of the IS&T/SID Seventh Color Imaging Conference: Color Science, Systems and Applications, Scottsdale, Arizona, pages 311-313, 1999.
  • [7] Susan M. Courtney, Leif H. Finkel, and Gershon Buchsbaum. A multistage neural network for color constancy and color induction. IEEE Transactions on Neural Networks, 6(4):972-985, July 1995.
  • [8] P A. Dufort and C. J. Lumsden. Color categorization and color constancy in a neural network model of V4. Biological Cybernetics, 65:293-303, 1991.
  • [9] M. D'Zmura and P. Lennie. Mechanisms of color constancy. In Glenn E. Healey, Steven A. Shafer, and Lawrence B. Wolff, editors, Color, pages 224-234, Boston, 1992. Jones and Bartlett Publishers.
  • [10] Marc Ebner. Combining white-patch retinex and the gray world assumption to achieve color constancy for multiple illuminants. In Bernd Michaelis and Gerald Krell, editors, Pattern Recognition, Proceedings of the 25th DAGM Symposium, Magdeburg, Germany, pages 60-67, Berlin, 2003. Springer-Verlag.
  • [11] Marc Ebner. Verfahren and Vorrichtung zur Farbkorrektur von Bildern. Deutsche Patentanmeldung, 18 Seiten, 6. Oktober, DE 10346348 A1, 2003.
  • [12] Marc Ebner. Color constancy using local color shifts. In Tomáš Pajdla and Jiří Matas, editors, Proceedings of the 8th European Conference on Computer Vision, Part III, Prague, Czech Republic, May, 2004, pages 276-287, Berlin, 2004. Springer-Verlag.
  • [13] Marc Ebner. A parallel algorithm for color constancy. Journal of Parallel and Distributed Computing, 64(1):79-88, 2004.
  • [14] Marc Ebner. Verfahren and Vorrichtung zur Farbkorrektur von Bildern mit nicht-linearen Beleuchtungsänderungen. Deutsche Patentanmeldung, 28 Seiten, 4. Juni, DE 102004027471 A1, 2004.
  • [15] Marc Ebner and Christan Herrmann. On determining the color of the illuminant using the dichromatic reflection model. In Walter Kropatsch, Robert Sablatnig, and Allan Hanbury, editors, Pattern Recognition, Proceedings of the 27th DAGM Symposium, Vienna, Austria, pages 1-8, Berlin, 2005. Springer-Verlag.
  • [16] Olivier D. Faugeras. Digital color image processing within the framework of a human visual model. IEEE Transactions on Acoustics, Speech, and Signal Processing, ASSP-27(4):380-393, 1979.
  • [17] G. D. Finlayson. Color in perspective. IEEE Transactions on Pattern Analysis and Machine Intelligence, 18(10):1034-1038, October 1996.
  • [18] Graham Finlayson and Steven Hordley. Colour signal processing which removes illuminant colour temperature dependency. UK Patent Application GB 2360660A, January 2001.
  • [19] Graham D. Finlayson and Mark S. Drew. 4-sensor camera calibration for image representation invariant to shading, shadows, lighting, and specularities. In Proceedings of the 8th IEEE International Conference on Computer Vision, Volume 2, Vancouver, Canada, July 9-12, 2001, pages 47380, 2001.
  • [20] Graham D. Finlayson, Mark S. Drew, and Cheng Lu. Intrinsic images by entropy minimization. In Tomáš Pajdla and Jiří Matas, editors, Proceedings of the 8th European Conference on Computer Vision, Part III,Prague, Czech Republic, May, 2004, pages 582-595, Berlin, 2004. Springer-Verlag.
  • [21] Graham D. Finlayson and Steven D. Hordley. Color constancy at a pixel. Journal of the Optical Society of America A, 18(2):253-264, February 2001.
  • [22] Graham D. Finlayson, Paul M. Hubel, and Steven Hordley. Color by correlation. In Proceedings of IS&T/SID. The Fifth Color Imaging Conference: Color Science, Systems, and Applications, Nov 17-20, The Radisson Resort, Scottsdale, AZ, pages 6-11, 1997.
  • [23] Graham D. Finlayson and Gerald Schaefer. Solving for colour constancy using a constrained dichromatic reflection model. International Journal of Computer Vision, 42(3):127-144, 2001.
  • [24] Graham D. Finlayson, Bernt Schiele, and James L. Crowley. Comprehensive colour image normalization. In Hans Burkhardt and Bernd Neumann, editors, Fifth European Conference on Computer Vision (ECCV '98), Freiburg, Germany, pages 475-490, Berlin, 1998. Springer-Verlag.
  • [25] D. A. Forsyth. A novel approach to colour constancy. In Second International Conference on Computer Vision (Tampa, FL, Dec. 5-8), pages 9-18. IEEE Press, 1988.
  • [26] D. A. Forsyth. A novel algorithm for color constancy. In Glenn E. Healey, Steven A. Shafer, and Lawrence B. Wolff, editors, Color, pages 241-271, Boston, 1992. Jones and Bartlett Publishers.
  • [27] Brian Funt, Kobus Barnard, and Lindsay Martin. Is machine colour constancy good enough? In Hans Burkhardt and Bernd Neumann, editors, Fifth European Conference on Computer Vision (ECCV '98), Freiburg, Germany, pages 445-459, Berlin, 1998. Springer-Verlag.
  • [28] Brian Funt, Vlad Cardei, and Kobus Barnard. Learning color constancy. In Proceedings of the IS&T/SID Fourth Color Imaging Conference, pages 58-60, Scottsdale, 19-22 November 1996.
  • [29] Brian V. Funt and Mark S. Drew. Color constancy computation in near-mondrian scenes using a finite dimensional linear model. In R. Jain and L. Davis, editors, Proceedings of the Computer Society Conference on Computer Vision and Pattern Recognition, Ann Arbor, MI pages 544-549. Computer Society Press, 5-9 June 1988.
  • [30] Brian V. Funt, Mark S. Drew, and Jian Ho. Color constancy from mutual reflection. International Journal of Computer Vision, 6(1):5-24, 1991.
  • [31] Brian V. Funt, Mark S. Drew, and Jian Ho. Color constancy from mutual reflection. In Glenn E. Healey, Steven A. Shafer, and Lawrence B. Wolff, editors, Color, pages 365-384, Boston, 1992. Jones and Bartlett Publishers.
  • [32] Ron Gershon, Allan D. Jepson, and John K. Tsotsos. From [R,G,B] to surface reflectance: Computing color constant descriptors in images. In John P. McDermott, editor, Proceedings of the Tenth International Joint Conference on Artificial Intelligence, Milan, Italy, volume 2, pages 755-758. Morgan Kaufmann, 1987.
  • [33] Harry Helson. Fundamental problems in color vision. I. the principle governing changes in hue, saturation, and lightness of non-selective samples in chromatic illumination. Journal of Experimental Psychology, 23(5):43976, November 1938.
  • [34] Jian Ho, Brian V. Funt, and Mark S. Drew. Separating a color signal into illumination and surface reflectance components: Theory and applications. In Glenn E. Healey, Steven A. Shafer, and Lawrence B. Wolff, editors, Color, pages 272-283, Boston, 1992. Jones and Bartlett Publishers.
  • [35] Berthold K. P. Horn. Determining lightness from an image. Computer Graphics and Image Processing, 3:277-299, 1974.
  • [36] Berthold Klaus Paul Horn. Robot Vision. The MIT Press, Cambridge, Massachusetts, 1986.
  • [37] Anya Hurlbert. Formal connections between lightness algorithms. J. Opt. Soc. Am. A, 3(10):1684-1693, October 1986.
  • [38] Anya C. Hurlbert and Tomaso A. Poggio. Learning a color algorithm from examples. Technical Report A.I. Memo No. 909, Massachusetts Institute of Technology, Artificial Intelligence Laboratory, April 1987.
  • [39] Anya C. Hurlbert and Tomaso A. Poggio. Synthesizing a color algorithm from examples. Science, 239:48283, January 1988.
  • [40] International Commission on Illumination. Colorimetry, 2nd edition, corrected reprint. Technical report, International Commission on Illumination, 1996.
  • [41] Edwin H. Land. The retinex theory of colour vision. Proc. Royal Inst. Great Britain, 47:23-58, 1974.
  • [42] Edwin H. Land. Recent advances in retinex theory and some implications for cortical computations: color vision and the natural image. Proc. Natl. Acad. Sci. USA, 80:5163-5169, August 1983.
  • [43] Edwin H. Land. An alternative technique for the computation of the designator in the retinex theory of color vision. Proc. Natl. Acad. Sci. USA, 83:3078-3080, May 1986.
  • [44] Edwin H. Land. Recent advances in retinex theory. Vision Res., 26(1):7-21, May 1986.
  • [45] Edwin H. Land and John J. McCann. Lightness and retinex theory. Journal of the Optical Society of America, 61(1):1-11, January 1974.
  • [46] Laurence T. Maloney and Brian A. Wandell. Color constancy: a method for recovering surface spectral reflectance. Journal of the Optical Society of America A3, 3(1):29-33, January 1986.
  • [47] Laurence T. Maloney and Brian A. Wandell. Color constancy: a method for recovering surface spectral reflectance. In Glenn E. Healey, Steven A. Shafer, and Lawrence B. Wolff, editors, Color, pages 219-223, Boston, 1992. Jones and Bartlett Publishers.
  • [48] John J. McCann, Suzanne P. McKee, and Thomas H. Taylor. Quantitative studies in retinex theory. Vision Res., 16:445-458, 1976.
  • [49] Andrew Moore, John Allman, and Rodney M. Goodman. A real-time neural system for color constancy. IEEE Transactions on Neural Networks, 2(2):237-247, March 1991.
  • [50] Carol L. Novak and Steven A. Shafer. Supervised color constancy for machine vision. In Glenn E. Healey, Steven A. Shafer, and Lawrence B. Wolff, editors, Color, pages 284-299, Boston, 1992. Jones and Bartlett Publishers.
  • [51] James R. Parker. Algorithms for Image Processing and Computer Vision. John Wiley & Sons, Inc., New York, 1997.
  • [52] D. Paulus, L. Csink, and H. Niemann. Color cluster rotation. In Proceedings of the International Conference on Image Processing (ICIP), pages 161-165. IEEE Computer Society Press, 1998.
  • [53] T. Pomierski and H. M. Groß. Verfahren zur empfindungsgemäßen Farbumstimmung. In G. Sagerer, S. Posch, and F. Kummert, editors, Mustererkennung 1995, Verstehen akustischer und visueller Informationen, 17. DAGM-Symposium, Bielefeld, 13.-15. September 1995, pages 473-480, Berlin, 1995. Springer-Verlag.
  • [54] Charles Poynton. Digital Video and HDTV. Algorithms and Interfaces. Morgan Kaufmann Publishers, San Francisco, CA, 2003.
  • [55] Zia-ur Rahman, Daniel J. Jobson, and Glenn A. Woodell. Method of improving a digital image. United States Patent No. 5,991,456, November 1999.
  • [56] Valery J. Risson. Determination of an illuminant of digital color image by segmentation and filtering. United States PatentApplication, Pub. No. US 2003/0095704 A1, May 2003.
  • [57] Marshall F. Tappen, William T. Freeman, and Edward H. Adelson. Recovering intrinsic images from a single image. Technical Report AI Memo 2002-015, Massachusetts Institute of Technology, Artificial Intelligence Laboratory, September 2002.
  • [58] Shoji Tominaga. Surface identification using the dichromatic reflection model. IEEE Transactions on Pattern Analysis and Machine Intelligence, 13(7):65870, July 1991.
  • [59] Shoji Tominaga and Brian A. Wandell. Component estimation of surface spectral reflectance. In Glenn E. Healey, Steven A. Shafer, and Lawrence B. Wolff, editors, Color, pages 87-97, Boston, 1992. Jones and Bartlett Publishers.
  • [60] Shiro Usui and Shigeki Nakauchi. A neurocomputational model for colour constancy. In Christine Dickinson, Ian Murray, and David Carden, editors, John Dalton's Colour Vision Legacy. Selected Proceedings of the International Conference, pages 475-482, London, 1997. Taylor & Francis.
  • [61] Brian A. Wandell. The synthesis and analysis of color images. IEEE Transactions on Pattern Analysis and Machine Intelligence, PAMI-9(1):2-13, January 1987.
  • [62] Yair Weiss. Deriving intrinsic images from image sequences. In Proceedings of the International Conference on Computer Vision, Vancouver, Canada, July 9-12, 2001. IEEE, 2001.
  • [63] Semir Zeki. A Vision of the Brain. Blackwell Science, Oxford, 1993.


Anspruch[de]
Verfahren zur lokalen Farbbestimmung der Beleuchtung anhand eines digitalen, digitalisierten bzw. elektronischen ursprünglichen Bildes das mehrere Bildpunkte aufweist und mindestens ein Objekt abbildet, insbesondere mit den folgenden Schritten:

(a) Segmentierung des Bildes in Regionen.

(b) Bestimmung der Farbe der Lichtquelle sowie eines Konfidenzmaßes für eine oder mehrere Regionen anhand der Bildpunkte der Region bzw. anhand der Bildpunkte der Region und der Bildpunkte benachbarter Regionen.

(c) Gewichtetes Mitteln der bestimmten Farben der Lichtquelle über mehrere Regionen, so daß die Farbe der Lichtquelle kontinuierlich für mehrere Bildpunkte des gesamten Bildes vorliegt.
Verfahren nach Anspruch 1, wobei in Schritt (b) die Farben der Bildpunkte der Regionen gemittelt werden und die Farbe der Lichtquelle aus einem Vielfachen der gemittelten Farben bestimmt wird. Verfahren nach einem der Ansprüche 1 bis 2, wobei das Konfidenzmaß aus der Standardabweichung der gemittelten Farben der Regionen bestimmt wird. Verfahren nach Anspruch 1, wobei in Schritt (b) für eine oder mehrere Regionen eine dichromatische Linie bestimmt wird. Verfahren nach Anspruch 1 und 4, wobei nur ein Teil der bestimmten dichromatischen Linien beibehalten werden. Kriterien für die Auswahl können z.B. die Sättigung der Region, die Farbe der Region, die Zahl der Punkte, die zur Region gehören, oder die Eigenwerte der Kovarianzmatrix, die aus den Punkten, die zur Region gehören, berechnet wurde, sein. Verfahren nach einem der Ansprüche 1 und 4 oder 5, wobei für mindestens eine Region, deren dichromatische Linie bestimmt wurde, einer oder mehrere Schnittpunkte zwischen der dichromatischen Linie und der dichromatischen benachbarter Regionen bestimmt werden. Verfahren nach einem der Ansprüche 1 bis 5 und 6, wobei für mindestens eine Region, deren dichromatische Linie bestimmt wurde, die Farbe der Lichtquelle anhand der bestimmten Schnittpunkte bestimmt wird. Die Farbe der Lichtquelle kann z.B. durch Mittelung der Schnittpunkte oder anhand des Medians der Schnittpunkt-Koordinaten bestimmt werden. Verfahren nach einem der Ansprüche 1 bis 5, wobei für mindestens eine Region, deren dichromatische Linie bestimmt wurde, die Farbe der Lichtquelle durch den Schnittpunkt mit einer Gleichung, die z.B. die Farbe des Lichts eines schwarzen Strahlers approximiert, bestimmt wird. Verfahren nach einem der Ansprüche 1 bis 5 und 7, wobei das Konfidenzmaß aus der Varianz der berechneten Schnittpunkte bestimmt wird. Verfahren nach einem der Ansprüche 1 bis 5 und 8, wobei das Konfidenzmaß aus dem Winkel zwischen der dichromatischen Linie und der Tangente am Schnittpunkt mit der Kurve, der die möglichen Farben der Lichtquelle approximiert, bestimmt wird. Verfahren nach einem der Ansprüche 1 bis 10, wobei Regionen, deren Farbe nicht sicher bestimmt werden konnte, entfernt werden. Verfahren nach einem der Ansprüche 1 bis 11, wobei in Schritt 1(c) eine oder mehrere der bestimmten Farben über das gesamte Bild gemittelt werden, so daß an mindestens einem Bildpunkt die gemittelte Farbe der Lichtquelle bestimmt wird. Verfahren nach einem der Ansprüche 1 bis 11, wobei in Schritt 1(c) eine oder mehrere der bestimmten Farben über das gesamte Bild gewichtet gemittelt werden, so daß an mindestens einem Bildpunkt die gemittelte Farbe der Lichtquelle bestimmt wird. Die Gewichte für die Mittelung können z.B. aus dem Konfidenzmaß bestimmt werden. Verfahren nach einem der Ansprüche 1 bis 13, wobei einer oder mehrere der gemessenen Farbwerte des Bildes durch die an diesen Punkten in Schritt 1(c) bestimmte Farbe dividiert wird. Es sei L = [r, g] die Chromatizität der Farbe der Lichtquelle an einem Bildpunkt, dann ist L = [Lr, Lg, 1 – Lr – Lg] die Farbe der Lichtquelle an diesem Bildpunkt. Es sei c = [cr, cg, cb] die gemessene Farbe des Bildpunktes. Dann ist
die korrigierte Farbe des Bildpunktes.
Verfahren nach einem der Ansprüche 1 bis 14, wobei in Schritt 1(d) die ursprüngliche Helligkeit des Punktes beibehalten wird. Es sei L' = wror + wgog + wbob die Helligkeit der korrigierten Farbe des Bildpunktes, z.B. mit wr = 0.2125, wg = 0.7154, wb = 0.0721. Es sei L = wrcr + wgcg + wbcb die Helligkeit der gemessenen Farbe des Bildpunktes. Dann ist
die korrigierte Farbe des Bildpunktes, wobei die Helligkeit des Punktes beibehalten wird.
Vorrichtung zur lokalen Farbbestimmung der Beleuchtung anhand eines digitalen, digitalisierten bzw. elektronischen ursprünglichen Bildes das mehrere Bildpunkte aufweist und mindestens ein Objekt abbildet, insbesondere mit den folgenden Schritten:

• einer Einrichtung zur Segmentierung des Bildes in Regionen.

• einer Einrichtung zur Bestimmung der Farbe der Lichtquelle sowie eines Konfidenzmaßes für eine oder mehrere Regionen anhand der Bildpunkte der Region bzw. anhand der Bildpunkte der Region und der Bildpunkte benachbarter Regionen.

• einer Einrichtung zum gewichteten Mitteln der bestimmten Farben der Lichtquelle über mehrere Regionen, so daß die Farbe der Lichtquelle kontinuierlich für mehrere Bildpunkte des gesamten Bildes vorliegt.
Computerprogramm mit einer Programmcode-Einrichtung, um ein Verfahren nach einem der Ansprüche 1 bis 15 durchzuführen, wenn das Computerprogramm auf einem Computer ausgeführt wird. Computerprogrammprodukt mit einer Programmcode-Einrichtung, die auf einem computerlesbaren Datenträger gespeichert ist, um ein Verfahren nach einem der Ansprüche 1 bis 15 durchzuführen, wenn das Programmprodukt auf einem Computer ausgeführt wird. Verwendung eines Verfahrens nach einem der Ansprüche 1 bis 15, einer Vorrichtung nach Anspruch 16, eines Computerprogramms nach Anspruch 17 und/oder eines Computerprogrammprodukts nach Anspruch 18 zur lokalen Farbbestimmung der Beleuchtung anhand eines digitalen, digitalisierten bzw. elektronischen ursprünglichen Bildes das mehrere Bildpunkte aufweist und mindestens ein Objekt abbildet. CMOS-Einrichtung, CCD-Einrichtung, Digitalkamera, Flachbildschirm, Flachbildfernsehgerät und/oder TFT-Display zum Durchführen eines Verfahrens nach einem der Ansprüche 1 bis 15, mit einer Vorrichtung nach Anspruch 16, mit einem Computerprogramm nach Anspruch 17 und/oder mit einem Computerprogrammprodukt nach Anspruch 18.






IPC
A Täglicher Lebensbedarf
B Arbeitsverfahren; Transportieren
C Chemie; Hüttenwesen
D Textilien; Papier
E Bauwesen; Erdbohren; Bergbau
F Maschinenbau; Beleuchtung; Heizung; Waffen; Sprengen
G Physik
H Elektrotechnik

Anmelder
Datum

Patentrecherche

Patent Zeichnungen (PDF)

Copyright © 2008 Patent-De Alle Rechte vorbehalten. eMail: info@patent-de.com