PatentDe  


Dokumentenidentifikation DE19634769A1 06.03.1997
Titel Neurales Netzwerk zur Lokalisierung und Erkennung eines verformbaren Objekts
Anmelder Siemens Corporate Research, Inc., Princeton, US;
The Trustees of Princeton University, Princeton, N.J., US
Vertreter Blumbach, Kramer & Partner, 81245 München
DE-Anmeldedatum 28.08.1996
DE-Aktenzeichen 19634769
Offenlegungstag 06.03.1997
Veröffentlichungstag im Patentblatt 06.03.1997
IPC-Hauptklasse G06K 9/66
IPC-Nebenklasse G07C 9/00   
Zusammenfassung Es ist ein System zum automatischen Erfassen und Erkennen der Identität eines verformbaren Objekts wie etwa eines menschlichen Gesichts innerhalb einer beliebigen Bildszene beschrieben. Das System weist einen als probabilistisches, entscheidungsbasiertes, neurales Netzwerk ausgebildeten Objektdetektor für die Ermittlung, ob das Objekt in der beliebigen Bildszene vorhanden ist, und eine gleichfalls als ein probabilistisches, entscheidungsbasiertes, neurales Netzwerk implementierte Merkmalslokalisierungseinrichtung für die Ermittlung der Position eines identifizierenden Merkmals an dem Objekt wie etwa der Augen auf. Eine Merkmalsextrahiereinrichtung ist mit der Merkmalslokalisierungseinrichtung gekoppelt und empfängt von dieser abgegebene Koordinaten, die die Position des identifizierenden Merkmals anzeigen, und greift darüber hinaus aus den Koordinaten Informationen heraus, die mit anderen Merkmalen des Objekts wie etwa den Augenbrauen und der Nase zusammenhängen und die zur Erzeugung eines geringe Auflösung aufweisenden Bilds des Objekts eingesetzt werden. Eine auf der Basis eines probabilistischen, entscheidungsbasierten, neuralen Netzwerks ausgebildete Objekterkennungseinrichtung zur Ermittlung der Identität des Objekts empfängt zur Identifizierung des Objekts das von der Merkmalsextrahiereinrichtung eingespeiste, geringe Auflösung aufweisende Bild des Objekts.

Beschreibung[de]

Die vorliegende Erfindung bezieht sich allgemein auf das Maschinen-Sehvermögen bzw. das maschinelle Sehvermögen und insbesondere auf ein System, das entscheidungsbasierte neurale Netzwerke implementiert, die zum Lokalisieren und Erkennen von verformbaren Objekten wie etwa dem menschlichen Gesicht imstande sind.

Die Aufgabe der Erfassung und Erkennung eines verformbaren bzw. nicht formbeständigen Musters oder Objekts ist ein wichtiges Problem bei dem maschinellen Lernen und dem Computer-Sehvermögen. Die Aufgabe enthält das Auffinden und Identifizieren eines spezifischen, jedoch lokal verformbaren Musters in einem Bild, wie etwa eines menschlichen Gesichts. Das maschinelle Lernen und das Computer-Sehvermögen (machine learning and computer vision) weist viele wichtige kommerzielle Anwendungen auf. Diese Anwendungen enthalten die ATM-Methode bzw. automatische Verfolgung, die Zugangssteuerung, die Überwachung und den Videokonferenzbetrieb, sind aber nicht hierauf beschränkt. Demgemäß hat das maschinelle Lernen (Maschinenlernen) und das Computer- Sehvermögen in den letzten Jahren große Aufmerksamkeit auf sich gezogen.

Bei Gesichtserkennungssystemen, die bei der Identifikation von Personen benutzt werden, wird typischerweise ein Gesichtsdetektor eingesetzt, der die Position und die Ausdehnung eines oder mehrerer menschlicher Gesichter in einer nicht gleichförmigen, beliebigen Bildszene bestimmt. Diese Aufgabe wird von solchen Systemen als schwierig empfunden, da die menschlichen Gesichter natürlich strukturiert und aus verformbaren Komponenten wie etwa den Backen, dem Mund, der Stirn usw. aufgebaut sind. Sobald das Gesicht aufgefunden wird, vergleicht das System dann in jedem Fall das Gesicht mit anderen, in einer Datenbank gespeicherten Gesichtern, um die Person zu identifizieren.

Bei Systemen, die bei vielen Beobachtungs- und Überwachungsanwendungen eingesetzt werden, ist es wichtig, daß das System die Position der menschlichen Augen in einem Bild oder einer Bildfolge, die ein menschliches Gesicht enthält, bestimmen kann. Sobald die Position der Augen ermittelt ist, können alle anderen wesentlichen Gesichtsmerkmale, wie etwa die Positionen der Nase und des Mundes, ermittelt werden. Diese Information kann dann für eine Vielzahl von Aufgaben wie etwa zur Erkennung eines Gesichts aus einer vorhandenen Gesichts-Datenbank eingesetzt werden.

Das Schlüsselmerkmal und die Schwierigkeit bei der Gesichtserkennung besteht darin, dem breiten Bereich von möglichen Änderungen des Gesichtsmusters in einer gegebenen Bildszene Rechnung zu tragen. In der Vergangenheit wurden drei hauptsächliche Ansätze zur Befassung mit diesen Musteränderungen angewendet, nämlich (1) der Einsatz von Korrelationsschablonen oder Korrelationslehren, (2) räumliche Bildinvarianten und (3) sichtbasierte Eigen-Räume (eigen spaces) usw . .

Korrelationsschablonen berechnen eine Ähnlichkeitsmessung zwischen einem festgelegten Zielmuster und der Position des Kandidatenbilds. Falls das Ausgangssignal eine bestimmte Schwelle überschreitet, wird eine Übereinstimmung bestätigt, das heißt ein Gesicht erfaßt. Es gibt manche Gesichtserfassungssysteme, die eine Bank von mehreren Korrelationsschablonen zur Erfassung von wesentlichen Gesichts-Untermerkmalen in einer Bildszene benutzen. Jedoch ist das Leistungsvermögen dieser Systeme begrenzt, da die Klasse aller möglichen Gesichtsmuster zu variantenreich ist, um durch eine einfache Bank von Korrelationsschablonen modelliert zu werden.

Bei Schemata mit räumlicher Bildinvarianz wird angenommen, daß manche gemeinsamen und einzigartigen räumlichen Bildbeziehungen in allen Gesichtsmustern vorhanden sind. Ein solcher Satz aus Bildinvarianten muß hinsichtlich positivem Auftreten dieser Invarianten bei allen Bildpositionen überprüft werden. Ein spezielles Bild-Invarianten-Schema basiert zum Beispiel auf der lokalen Ordnungszahl-Struktur bzw. normalen Struktur der Helligkeitsverteilung bei unterschiedlichen Teilen eines menschlichen Gesichts.

Ein mit den Korrelationsschablonen sehr eng verwandter Ansatz ist derjenige der sichtbasierten Eigenräume. Bei diesem Ansatz wird davon ausgegangen, daß der Satz aus allen möglichen Gesichtsmustern einen kleinen und leicht parameterisierbaren Unterraum in dem ursprünglichen Vektorraum des eingegebenen Bilds hoher Dimension belegt. Typischerweise wird bei diesem Ansatz der Unterraum von Gesichtsmustern unter Verwendung von Daten-Clustern bzw. Daten-Gruppen und deren hauptsächlichen Komponenten aus einem oder mehreren Beispielssätzen von Gesichtsbildern angenähert. Ein Bildmuster wird als "ein Gesicht" klassifiziert, wenn sein Abstand zu den Clustern bzw. Gruppen unterhalb einer bestimmten Schwelle in Abhängigkeit von einem geeigneten Abstandsmaß bzw. Abstandsmaßstab liegt. Jedoch wurde dieser Ansatz lediglich bei Gesichtsbildern bei im wesentlichen gleichförmigen Hintergrund demonstriert.

Gegenwärtig vorhandene Algorithmen und Methoden zur Augenlokalisierung basieren im allgemeinen auf der Hough-Transformation, Geometrie und Symmetrieüberprüfung, und auf verformbaren Modellen. Der größte Teil dieser Algorithmen und Methoden ist im allgemeinen bei Gestaltänderungen nicht adäquat und zeitaufwendig. Weiterhin können mit keiner dieser vorhandenen Methoden Augen lokalisiert werden, wenn sie geschlossen sind.

Neurale Netzwerkmodelle wurden für Gesichtserkennungssysteme als sehr günstig gefunden. Bekanntlich ist ein neurales bzw. neuronales Netzwerk im allgemeinen eine Implementierung eines Algorithmus, der den Computer imstande versetzt, adaptiv zu sein, indem er direkt von eingegebenen Daten lernt, die zum "Trainieren" des Computers zur Ausführung einer gewissen Aufgabe eingesetzt werden. Dies erlaubt dem Computer die Verarbeitung von Daten, die den Trainingsdaten lediglich in gewissem Umfang ähneln. Darüber hinaus sind solche Computer auch zur Verarbeitung von nicht vollständigen oder fehlerhaften Daten oder zum Erzeugen eines Maßes für die Fehlertoleranz imstande.

Ferner können solche Computer komplexe Interaktionen zwischen den Eingangsvariablen bzw. eingegebenen Variablen eines Systems erkennen. Da neurale Netzwerke parallel sind, kann ein großes Netzwerk Echtzeitgeschwindigkeiten erzielen, so daß ihr Einsatz in vielen Bereichen noch praxisgemäßer wird.

Ein neurales Netzwerk besteht im allgemeinen aus miteinander verbundenen Berechnungselementen oder Einheiten, die parallel arbeiten und die in Mustern angeordnet sind, die biologische neurale bzw. neuronale Netzwerke zum großen Teil nachahmen. Jede Verbindung zwischen Berechnungselementen ist mit einem modifizierbaren Gewicht verknüpft. Bei dem Betrieb wandelt ein Berechnungselement ein Muster von ankommenden Signalen in ein einziges, abgehendes Signal um, das es zu anderen verbundenen Berechnungselementen sendet. Das Berechnungselement bewerkstelligt dies, indem es jedes ankommende Signal mit dem Gewicht an der Verbindung (bzw. dem dieser Verbindung zugeordneten Gewicht) multipliziert und alle gewichteten Eingangsgrößen addiert, um hierdurch eine Größe zu erhalten, die als die Gesamteingabe bezeichnet wird. Das Berechnungselement benutzt dann eine Eingangs-Ausgangs-Funktion, die die Gesamteingabe in ein abgehendes Signal umwandelt. Damit das neurale Netzwerk eine spezielle Aufgabe durchführen kann, müssen die Berechnungselemente miteinander in einer bestimmten Netzwerkanordnung verbunden werden, und es müssen auch die Gewichte in geeigneter Weise festgelegt werden. Die Verbindungen bestimmen, wie sich die Berechnungselemente jeweils gegenseitig beeinflussen, während die Gewichte die Stärke dieser Beeinflussung festlegen.

Es ist daher eine Aufgabe der vorliegenden Erfindung, ein entscheidungsbasiertes (decision-based) neurales Netzwerk und ein System zum Implementieren des Netzwerks zu schaffen, das verformbare Objekte bei speziellen Anwendungen, die auf die Erfassung von menschlichen Gesichtern und auf die Lokalisierung von Augen in den Gesichtern gerichtet sind, lokalisiert bzw. auffindet und erkennt.

Mit der Erfindung wird ein System zur automatischen Erfassung und Erkennung der Identität eines verformbaren Objekts wie etwa eines menschlichen Gesichts innerhalb einer beliebigen Bildszene geschaffen. Das System weist einen Objektdetektor zur Ermittlung, ob das Objekt in der beliebigen Bildszene vorhanden ist, und eine Merkmalslokalisierungseinrichtung zur Ermittlung der Position eines identifizierenden Merkmals an dem Objekt wie etwa der Augen auf, wobei sowohl der Objektdetektor als auch die Merkmalslokalisierungseinrichtung jeweils als ein probabilistisches, entscheidungsbasiertes neurales Netzwerk ausgebildet sind. Eine Merkmalsextrahiereinrichtung ist mit der Merkmalslokalisierungseinrichtung gekoppelt und empfängt Koordinaten, die von der Merkmalslokalisierungseinrichtung abgegeben werden und die die Position des identifizierenden Merkmals anzeigen, und greift auch aus den Koordinaten Informationen heraus, die sich auf andere Merkmale des Objekts beziehen, wie etwa auf die Augenbrauen und die Nase, die zur Erzeugung eines geringe Auflösung aufweisenden Bilds des Objekts benutzt werden. Eine auf einem probabilistischen, entscheidungsbasierten neuralen Netzwerk basierende Objekterkennungseinrichtung zur Bestimmung der Identität des Objekts empfängt das geringe Auflösung aufweisende Bild des Objekts, das durch die Merkmalsextrahiereinrichtung eingangsseitig angelegt wird, um hierdurch das Objekt zu identifizieren.

Mit der vorliegenden Erfindung wird auch ein Verfahren zum automatischen Erfassen und Erkennen der Identität eines verformbaren Objekts innerhalb einer beliebigen Bildszene geschaffen. Bei dem Verfahren wird die Bildszene einer Vorverarbeitung zu Unterbildern unterzogen. Jedes der Unterbilder wird mit einer Objektdetektor-Datenbank verglichen, die unterschiedliche Versionen des Objekts speichert, um hieraus zu ermitteln, ob irgendeines der Unterbilder das Objekt ist. Die Koordinaten eines identifizierenden Merkmals an dem Objekt werden dann dadurch lokalisiert, daß die Koordinaten mit einer Datenbank der Merkmalslokalisierungseinrichtung verglichen werden, in der Koordinaten gespeichert sind, die unterschiedliche Versionen des identifizierenden Merkmals anzeigen. Informationen, die sich auf andere Merkmale des Objekts beziehen, werden aus den Koordinaten herausgegriffen, um ein Bild des Objekts mit geringer Auflösung zu erzeugen. Nachfolgend wird das geringe Auflösung besitzende Bild des Objektbilds in eine Objekterkennungseinrichtung eingespeist und die Identität des Objekts ermittelt.

Die Erfindung wird nachstehend anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.

Fig. 1 zeigt eine schematische Ansicht einer als Beispiel dienenden Ausführungsform des erfindungsgemäßen Systems zur Lokalisierung und Erkennung von Gesichtern,

Fig. 2A zeigt eine schematische Darstellung eines entscheidungsbasierten neuralen Netzwerks,

Fig. 2B zeigt eine strukturelle Darstellung eines probabilistischen, entscheidungsbasierten neuralen Netzwerks gemäß der vorliegenden Erfindung,

Fig. 3 zeigt eine schematische Darstellung eines probabilistischen, entscheidungsbasierten neuralen Netzwerks gemäß der vorliegenden Erfindung,

Fig. 4 zeigt eine schematische Darstellung einer zweiten, als Beispiel dienenden Ausführungsform eines erfindungsgemäßen Systems zur Lokalisierung und Erkennung von Gesichtern, das eine Gesichts-Verifizierungseinrichtung enthält, und

Fig. 5 zeigt eine schematische Darstellung eines mehrere Kanäle aufweisenden, entscheidungsbasierten neuralen Netzwerks gemäß der vorliegenden Erfindung.

Auch wenn die vorliegende Erfindung bei der Lokalisierung oder Auffindung von nahezu jedem beliebigen verformbaren Muster oder Objekt eingesetzt werden kann, ist die vorliegende Erfindung insbesondere für den Einsatz bei der Gesichtserfassung, der Augenlokalisierung und der Personenidentifizierung geeignet. Demgemäß wird die vorliegende Erfindung in diesem Zusammenhang erläutert.

Die Gesichtserfassung, die Augenlokalisierung und die Gesichtserkennung sind im wesentlichen Probleme der Mustererkennung bzw. Musterklassifizierung. Als Beispiel wird bei der Gesichtserfassung ein gegebenes Muster in zwei Klassen eingeordnet, nämlich "Gesicht" oder "kein Gesicht". Bei der vorliegenden Erfindung ist eine probabilistische Variante bzw. Wahrscheinlichkeitsvariante eines entscheidungsbasierten neuralen Netzwerks (DBNN = decision-based neural network) zur Durchführung dieser Klassifizierungsaufgabe vorgesehen. Genauer gesagt, werden sowohl die Gesichtserfassung als auch die Augenlokalisierung durch ein probabilistisches, entscheidungsbasiertes neurales Netzwerk implementiert, das im weiteren Text in größeren Einzelheiten beschrieben wird. Bei diesen Anwendungen und allgemeiner bei der Erfassung von beliebigen verformbaren Mustern ist lediglich ein Unternetz bei dem entscheidungsbasierten neuralen Netzwerk erforderlich. Bei der als Beispiel dienenden Ausführungsform der vorliegenden Erfindung repräsentiert das Unternetz die Gesichts/Augen-Klasse. Falls somit bei einem eingegebenen Muster x der Diskriminantenfunktionswert größer ist als der Schwellwert, wird x als ein Gesicht/Auge erkannt. Andernfalls wird x als "kein Gesicht" betrachtet.

Es wird nun auf Fig. 1 Bezug genommen. Dort ist eine als Beispiel dienende Ausführungsform eines vollständig automatischen Gesichtserkennungssystems gemäß der vorliegenden Erfindung gezeigt und mit dem Bezugszeichen 10 bezeichnet. Das System 10 weist eine Videokamera 12 für die Einspeisung einer beliebigen Bildszene 11 mit 320 x 240 Bildelementen (Pixel) auf. Ein auf einem entscheidungsbasierten neuralen Netzwerk basierender Gesichtsdetektor 14 ist mit der Videokamera 12 gekoppelt und enthält einen Speicher 16, der als eine Datenbank zur Speicherung von Bildern von unterschiedlichen menschlichen Gesichtern dient. Der Gesichtsdetektor 14 ermittelt, ob ein Gesicht in der beliebigen Bildszene 11 vorhanden ist. Die Daten, die in der Gesichtsdatenbank 16 gespeichert sind, werden zum Trainieren des Gesichtsdetektors 14 benutzt. Während des Trainings werden aktualisierte Netzwerk-Gewichtsparameter und Schwellenwerte in der Gesichts-Datenbank 16 gespeichert.

Die über die Videokamera 12 eingegebenen Bilder werden zunächst vorverarbeitet, bevor sie an den auf dem entscheidungsbasierten neuralen Netzwerk basierenden Gesichtsdetektor 14 angelegt werden. Die Eingangsgrößen für den Gesichtsdetektor 14 auf der Basis eines entscheidungsbasierten neuralen Netzwerks sind ein Satz von Bildern mit vorab definierten Koordinaten. Zur Erfassung eines Gesichts in einem eingegebenen Bild wird jedes der möglichen Unterbilder verarbeitet, um zu erkennen, ob ein Gesicht repräsentiert. Ein Vertrauensergebnis bzw. eine Zuverlässigkeitsbewertung wird erzeugt, das das Vertrauen des Systems in dieses Erfassungsergebnis anzeigt. Falls das Ergebnis unterhalb einer gewissen Schwelle liegt, ist kein Gesicht detektiert worden.

Falls durch den Gesichtsdetektor 14 eine positive Identifizierung eines Gesichts vorgenommen wird, wird eine Augenlokalisierungseinrichtung 18, die auf einem entscheidungsbasierten neuralen Netzwerk basiert und mit dem Gesichtsdetektor 14 gekoppelt ist, aktiviert, um die beiden Augen in dem Gesichtsbild zu lokalisieren. Die Kenntnis der exakten Position der Augen stellt eine sehr effiziente Einrichtung zur Normalisierung der Größe des Gesichts und zur Reorientierung des Gesichtsbilds dar. Die Musterauflösung, die für die Augen benutzt wird, ist erheblich höher als diejenige, die für die Gesichter eingesetzt wird. Sowohl der Gesichtsdetektor 14 als auch die Augenlokalisierungseinrichtung 18 sind gegenüber kleinen Änderungen der Größe des Kopfs, der Orientierung des Gesichts (bis zu ungefähr 30%) und dem Vorhandensein von Brillen unempfindlich.

Die Augenlokalisierungseinrichtung 18 enthält auch einen Speicher 20, der als eine Datenbank zum Speichern von Informationen dient, die mit den Koordinaten von verschiedenen, unterschiedlichen Augen zusammenhängen. Die Augenlokalisierungseinrichtung 18 ermittelt die Koordinaten jedes Auges und gibt diese Koordinaten dann an eine Gesichtsmerkmal-Extrahiereinrichtung 22 ab, die im weiteren Text beschrieben ist. Die Daten, die in der Augen-Datenbank 20 gespeichert sind, werden zum Trainieren der Augenlokalisierungseinrichtung 18 benutzt. Während des Trainings werden aktualisierte Netzwerk-Gewichtsparameter und Schwellenwerte in der Augen-Datenbank 20 gespeichert.

Die Gesichtsmerkmal-Extrahiereinrichtung 22 ist mit der Augenlokalisierungeinrichtung 18 gekoppelt und benutzt die Augenkoordinaten, die von der Augenlokalisierungseinrichtung 18 zugeführt werden, dazu, ein Unterbild mit geringer Auflösung herauszugreifen, das ungefähr 140 × 100 Bildelemente enthält und der Gesichtsregion entspricht. Die Gesichtsregion enthält die Augenbrauen, die Augen und die Nase (unter Ausschluß des Mundes). Eine solche Gesichtsregion ergibt ein sehr hohes Maß an Vertrauen (bzw. Zuverlässigkeit) dahingehend, daß es eine Stabilität gegenüber unterschiedlichen Ausdrücken des Gesichts, Frisuren und Bewegungen des Mundes bietet. Eine verbesserte Klassifizierung kann auch aus sekundären Gesichtsmerkmalen wie etwa der Haarlinie bzw. des Scheitels oder des Haaransatzes, und dem Mund gewonnen werden.

Die Gesichtsmerkmal-Extrahiereinrichtung 22 normalisiert (bzw. standardisiert) die Intensitäten und die Ränder in der Gesichtsregion (auf einen Bereich zwischen 1 und 0), um eine sich ändernde Beleuchtung zu kompensieren. Zur Rekonditionierung der Gesichtsbilder können Randfilterungs- und Histogramm-Modifikations-Methoden eingesetzt werden. Die normalisierten und rekonditionierten Bilder mit 140 × 100 Bildelementen werden dann auf gröbere Merkmalsvektoren mit ungefähr 13 × 9 Bildelementen reduziert. Der Einsatz von Gesichtsmerkmalen mit geringerer Auflösung führt zu beträchtlichen Verringerungen hinsichtlich der Berechnungskosten und des Speicherraums und vergrößert die Toleranz hinsichtlich Fehlern bei der Gesichts/Augen-Lokalisierung.

Damit eine ausreichende Unterschiedlichkeit bzw. Vielfältigkeit der reellen Gesichtsbilder in dem Trainingssatz sichergestellt ist, nimmt der Algorithmus das erhaltene Sensorbild und wandelt es zur Erzeugung von zusätzlichen Trainingsexemplaren um, was auch als virtuelle Trainingsmuster bekannt ist. Zwei Arten von Trainingsmustern werden benutzt.

Das erste Trainingsmuster besteht aus positiven Mustern (Gesicht/Augen-Muster), die für ein verstärktes bzw. verstärkendes Lernen benutzt werden. Das zweite Trainingsmuster besteht aus negativen Mustern (Muster "kein Gesicht/Auge"), die zu einem verstärkten Lernen in Gegenrichtung (im folgenden auch als anti-verstärkendes bzw. anti-verstärktes Lernen bezeichnet) benutzt werden. Die Gewichtungsparameter des Netzwerks und die Schwellenwerte werden durch dieses verstärkte Lernen/verstärkte Lernen in Gegenrichtung aktualisiert. Eine noch detailliertere Diskussion der Erzeugung von virtuellen Mustern wird im weiteren Text gegeben.

Der Merkmalsvektor, der durch die Gesichtsmerkmal-Extrahiereinrichtung erzeugt wird, wird dann in eine Gesichtserkennungseinrichtung 24, die auf einem entscheidungsbasierten neuralen Netzwerk basiert, für eine Erkennung eingespeist. Die Gesichtserkennungseinrichtung 24 enthält einen Speicher 26, der als eine Datenbank zum Speichern von Personenidentifikationsinformationen dient.

Das trainierte System kann leicht für einen Einsatz bei einer Gesichtsverifizierung angepaßt werden. Aufgrund des verteilten Aufbaus eines entscheidungsbasierten neuralen Netzwerks kann jede beliebige Datenbank für eine einzelne Person individuell für eine Verifizierung seiner oder ihrer behaupteten Identität hergeholt bzw. wiedergewonnen werden.

Die entscheidungsbasierten neuralen Netzwerk-Methoden, die in dem Gesichtsdetektor 14, in der Augenlokalisierungseinrichtung 18 und in der Gesichtserkennungseinrichtung 24 implementiert und bei dem vorstehend erläuterten System 10 beschrieben sind, können auch bei anderen, ähnlichen Systemen zur Erfassung von nahezu jeder beliebigen Art von verformbaren Objekten eingesetzt werden. Die unmittelbar nachfolgende Diskussion beschreibt die Einzelheiten des probabilistischen, entscheidungsbasierten neuralen Netzwerks, das bei dem vorstehend erläuterten System implementiert ist.

Das bei der vorliegenden Erfindung eingesetzte, entscheidungsbasierte, neurale Netzwerk benutzt eine verteilte und lokalisierte Aktualisierungsregel, die auf der Strategie des verstärkten Lernens und des in Gegenrichtung verstärkten Lernens basiert. Der Gradient der Diskriminanten-Funktion mit Bezug zu den Gewichtsparametern wird als eine Aktualisierungsrichtung eingesetzt. Der hauptsächliche Nutzen dieser Vorgehensweise besteht dabei darin, daß sie es ermöglicht, die Grenze zwischen zwei beliebigen Klassen gegenseitig festzulegen, wobei sich nur minimale Seitenwirkungen bzw. Nebenwirkungen auf andere Grenzen ergeben. Bei dem entscheidungsbasierten, neuralen Netzwerk sagt der Lehrer lediglich die Korrektheit der Klassifikation für jedes Trainingsmuster. Der Lehrer ist ein Satz von Symbolen, T = {ti}, die die korrekte Klasse für jedes eingegebene Muster bezeichnen bzw. kennzeichnen. Im Unterschied zu einer Approximierungsformulierung sind keine exakte Werte des oder der Lehrer erforderlich. Demgemäß besteht die Aufgabe des Trainings darin, einen Satz von Gewichten zu finden, der eine korrekte Klassifizierung ergibt.

Bei einer komplexen Musterverteilung ist die Diskriminantenfunktion üblicherweise im Vorhinein nicht bekannt. Dies führt zu einer Kredit-Zuordnungsregel dahingehend, wann, was und wie die Aktualisierung des Netzwerks auszuführen ist. Ihr hauptsächlicher Zweck besteht in der Erleichterung des Problems des Übertrainierens der Netzwerke. Es gibt drei hauptsächliche Gesichtspunkte der Trainingsregel: wann zu aktualisieren ist; was zu aktualisieren ist; und wie die Gewichte zu aktualisieren sind.

Bei der Trainingsregel wird die Erkenntnis, wann zu aktualisieren ist, zum Beispiel durch eine selektive Trainingsmethode bestimmt, die das Gewicht lediglich dann aktualisiert, wenn eine fehlerhafte Klassifizierung vorliegt. Da die Regel verteilt und lokalisiert ist, wird die Kenntnis, was zu aktualisieren ist, dadurch erzielt, daß ein verstärktes Lernen bei dem Unternetz, das der korrekten Klasse entspricht, sowie ein verstärktes Lernen in Gegenrichtung bei dem Unternetz, das der nicht korrekten Klasse entspricht, eingesetzt wird. Eine Aktualisierung unter bzw. gemäß der Regel wird dadurch erreicht, daß die Grenze dadurch eingestellt wird, daß der Gewichtsvektor w entweder in der Richtung des Gradienten der Diskriminanten-Funktion (das heißt ein verstärktes Lernen) oder entgegengesetzt zu dieser Richtung (das heißt ein verstärktes Lernen in Gegenrichtung) aktualisiert wird.

Im folgenden wird die vorstehend gerade erläuterte, entscheidungsbasierte Lernregel (decision-based learning rule) beschrieben. Es sei angenommen, daß S = {x(1), . . . , x(N)} ein Satz von gegebenen Trainingsmustern ist, die jeweils einer der M Klassen {ωi, i = 1, . . . M} entspricht. Jede Klasse ist durch ein Unternetz mit Diskriminanten-Funktionen modelliert, zum Beispiel Φ(x, wi) i = 1, . . . M. Es sei angenommen, daß es bekannt ist, daß das m-te Trainingsmuster X(m) zu der Klasse ωi gehört, und daß gilt



Demgemäß ist die gewinnende Klasse für das Muster die j-te Klasse (Unternetz). Dann und nur dann, wenn j ≠ i ist (das heißt, wenn X(m) fehlerhaft klassifiziert ist, wird die nachstehende Aktualisierung durchgeführt.



Typischerweise wird ein Ausgangsknoten zum Repräsentieren einer Klasse bezeichnet. Der Aufbau Alle-Klassen-in-einem-Netzwerk (ACON-Struktur = All-Class-In-One-Network structure) wird bei einem herkömmlichen MLP eingesetzt, bei dem alle Klassen in ein Super-Netzwerk zusammengeballt sind. Das Supernetz steht unter der Belastung, gleichzeitig alle Lehrer zu befriedigen, so daß die Anzahl von versteckten Einheiten K dazu tendiert, groß zu sein. Empirische Ergebnisse haben bestätigt, daß die Konvergenzrate des ACON-Netzwerks sich drastisch mit Bezug zu der Netzwerksgröße verschlechtert, da das Trainieren der versteckten Einheiten durch möglicherweise im Widerspruch stehende Signale von unterschiedlichen Lehrern beeinflußt wird.

In Fig. 2A ist eine schematische Darstellung gezeigt, in der das bei der vorliegenden Erfindung eingesetzte, entscheidungsbasierte neurale Netzwerk dargestellt und mit dem Bezugszeichen 30 versehen ist. Wie gezeigt ist, wird bei dem entscheidungsbasierten, neuralen Netzwerk 30 eine Struktur "eine Klasse in einem Netzwerk" (OCON-Struktur = One-Class-In-One-Network structure) eingesetzt, bei der einem Netzwerk lediglich eine Klasse zugeordnet ist. Jedes Unternetz 32, 34 und 36 ist hinsichtlich der Unterteilung seiner eigenen Klasse von den anderen spezialisiert, so daß die Anzahl von versteckten Einheiten üblicherweise gering ist. Experimentelle Ergebnisse, die auf einem breiten Bereich von Anwendungen basieren (OCR bzw. optische Zeichenerkennung, Sprache und Gesichtserkennung, legen nahe, daß drei bis fünf versteckte bzw. verborgene Einheiten je Unternetz vorzuziehen sind. Die OCON-Struktur eines entscheidungsbasierten, neuralen Netzwerks macht dieses für inkrementales Trainieren, daß heißt für eine Erneuerung des Netzwerks bei der Hinzufügung/dem Entfernen von Mitgliedern, am besten geeignet.

Die Trainingsmethode des entscheidungsbasierten, neuralen Netzwerks 30 beruht auf dem Lernen "lokal nicht überwacht, global überwacht" (LUGS-Lernen = Locally Unsupervised Globally Supervised learning). Bei dieser Methode gibt es zwei Phasen: Während der lokal nicht überwachten Phase (LU-Phase) wird jedes Unternetz individuell trainiert, und es kann keine gegenseitige Information zwischen den Klassen benutzt werden. Nach dem Abschluß der lokal nicht überwachten Phase (LU-Phase) tritt das Training in die global überwachte Phase (GS-Phase) ein. In dieser global überwachten Phase wird die Lehrer- Information zur Verstärkung oder zur Anti-Verstärkung (Verstärkung in Gegenrichtung) der Entscheidungsgrenzen eingeführt, die während der lokal nicht überwachten Phase erhalten wurden. Die Diskriminanten-Funktionen in allen Clustern werden in einer zweiphasigen Lerntechnik trainiert, die einen globalen Pegel und einen lokalen Pegel aufweist. Bei der dem globalen Pegel entsprechenden Lernphase wird eine überwachte, gegenseitige (entscheidungsbasierte) Lernregel eingesetzt. Bei der dem lokalen Pegel entsprechenden Lernphase erfolgt die Initialisierung stets durch eine nicht überwachte Clusterbildungs- bzw. Gruppenbildungs-Methode wie etwa einem k-Mittelwert (k-mean). Falls zu viele Cluster bzw. Gruppen eingesetzt werden, kann eine Überanpassung resultieren, die ihrerseits wieder die Fähigkeit zur Generalisierung behindert. Eine geeignete Anzahl von Gruppen kann durch eine nicht überwachte Gruppenbildungs-Methode festgelegt werden.

Die Lernregel des entscheidungsbasierten, neuralen Netzwerks 30 wird sehr stark durch die Entscheidungsgrenze beeinflußt bzw. durch diese gesteuert. Wenn die Musterklassen klar getrennt sind, führt ein derartiges Lernen üblicherweise zu einem sehr schnellen und dennoch zufriedenstellenden Lernverhalten. Anwendungsbeispiele enthalten das optische Zeichenlesen OCR und die (begrenzte bzw. finite) Gesichts/Objekt-Erkennung. Unterschiedliche Strategien sind notwendig, wenn man es mit einer überlappenden Verteilung und/oder Ergebnissen hinsichtlich falscher Akzeptanz/Zurückweisung zu tun hat, was bei Anwendungen wie etwa der Gesichtserkennung und Verifizierung vorliegt. Bei solchen Anwendungen stellt die vorliegende Erfindung eine probabilistische Variante bzw. Wahrscheinlichkeitsvariante des entscheidungsbasierten, neuralen Netzwerks bereit, wie es vorstehend in Verbindung mit dem Gesichtsdetektor 14, der Augenlokalisierungseinrichtung 18 und der Gesichtserkennungseinrichtung 24 des automatischen Gesichtserkennungssystems 10 gemäß Fig. 1 erläutert ist.

Es wird nun auf Fig. 2B Bezug genommen. Dort ist eine als Beispiel dienende Ausführungsform eines probabilistischen entscheidungsbasierten, neuralen Netzwerks schematisch gezeigt und mit dem Bezugszeichen 40 versehen. Die Unternetze 42 und 44 des probabilistischen, entscheidungsbasierten, neuralen Netzwerks 40 sind derart ausgelegt, daß sie log- Likelihood-Funktionen bzw. Funktionen mit logarithmischer Wahrscheinlichkeit (Likelihood) modellieren. Bei dem probabilistischen, entscheidungsbasierten, neuralen Netzwerk 40 wird ein verstärktes, antiverstärktes Lernen bei allen Clustern bzw. Gruppen des globalen Gewinners und des angenommenen (das heißt des korrekten) Gewinners eingesetzt, wobei eine Gewichtsverteilung eingesetzt wird, die proportional zu dem Ausmaß der möglichen Beteiligung (durch die Wahrscheinlichkeit gemessen) durch jede Gruppe (Cluster) ist.

Das probabilistische, entscheidungsbasierte, neurale Netzwerk 40 ist derart ausgelegt, daß es die Bayes&min;schen späteren Wahrscheinlichkeiten (posteriori-Wahrscheinlichkeiten) und Wahrscheinlichkeitsfunkionen annähert. Es ist bekannt, daß der optimale Datenklassifizierer der Bayes-Klassifizierer ist. Wenn angenommen wird, daß M-Klassen {ω&sub1;, . . . ωM} in dem Merkmalsraum vorhanden sind, klassifiziert das Bayes-Entscheidungsnetzwerk die eingegebenen Muster auf der Grundlage ihrer späteren Wahrscheinlichkeiten: Die Eingangsgröße x wird in die Klasse ωi klassifiziert, wenn P(ωi|x) > P(ωj|x) bei allen j ≠ i ist. Es läßt sich zeigen, daß der Bayes-Klassifizierer die minimale Fehlerrate besitzt.

Wenn angenommen wird, daß die Wahrscheinlichkeitsdichte der Eingangsgröße x, der die Klasse ωi zugeordnet ist, eine D-dimensionale Gauß&min;sche Verteilung ist, läßt sich die spätere bzw. nachträgliche Wahrscheinlichkeit P(ωi|x) durch die Bayes&min;sche Regel erhalten.



Hierbei bezeichnet P(ωi) die vorhergehende Wahrscheinlichkeit (priori-Wahrscheinlichkeit) der Klasse ωi (durch die Definition



Die Klassen-Wahrscheinlichkeitsfunktion p(x|ωi) kann zu einer Mischung von Gauß&min;schen Verteilungen ausgedehnt werden. Wenn p(x|ωir) als eine der Gauß&min;schen Verteilungen definiert wird, die p(x|ωi) enthält:



Hierbei bezeichnet θr = {µr, Σr} den Parametersatz für das Cluster bzw. die Gruppe r, P(θri) die vorhergehende Wahrscheinlichkeit des Clusters r, wenn die Eingangsmuster aus der Klasse ωi stammen, und p(x|ωi, θr) = N(µr, Σr). Durch Definition ist ΣRT=1P(θri) = 1. Bei vielen Anwendungen ist es angebracht, anzunehmen, daß P(ωi) = P(ωj). Daher kann die Likelihood-Wahrscheinlichkeit p(x|ωi) die nachträgliche Wahrscheinlichkeit P(ωi|x) ersetzen, um als Diskriminantenfunktion zu dienen.

Die Diskriminantenfunktion jedes Unternetzes in dem probabilistischen, entscheidungsbasierten, neuralen Netzwerk modelliert die logarithmische Wahrscheinlichkeitsfunktion:



Die Gesamtdarstellung einer solchen Diskriminantenfunktion ist in Fig. 2B dargestellt, die die Struktur des probabilistischen, entscheidungsbasierten, neuralen Netzwerks veranschaulicht. Der Funktionsknoten f() ist ein Nichtlinearitäts-Operator. Wenn die Annahme getroffen wird, daß P(ωi) = P(ωj) ist, ist f() ein logarithmischer Operator (Likelihood- Typ). Falls P(ωi) ≠ P(ωj) ist, ist f() ein Normalisierungs-Operator. Sein Zweck besteht darin, zu erreichen, daß sich die Diskriminantenfunktion der nachträglichen Klassenwahrscheinlichkeit (nachträglicher Typ) annähert. Das entscheidungsbasierte, neurale Netzwerk, das bei der als Beispiel dienenden Ausführungsform gezeigt ist, ist vom Likelihood-Typ.

Es ist anzumerken, daß ein ausdrücklicher Lehrerwert nicht erforderlich wäre oder ist, auch wenn es sich um ein überwachtes Training handelt, da die Kenntnis des Lehrers hinsichtlich der korrekten Klassifizierung bei dem Training entscheidend ist. In Fig. 3 ist eine schematische Darstellung eines probabilistischen, entscheidungsbasierten, neuralen Netzwerk 40 für die Erfassung von verformbaren Objekten gezeigt. Bei der allgemeinsten Formulierung sollte die Basis-Funktion eines Clusters bzw. einer Gruppe imstande sein, die Gauß&min;sche Verteilung mit einer vollrangigen Kovarianz-Matrix anzunähern. Eine Hyper-Basis-Funktion (HyperBF = hyper-basis function) ist hierfür bzw. hierbei gemeint. Jedoch entmutigt das Trainingsverhalten und der Speicherraum die Modellierung einer derartigen Matrix bei denjenigen Anwendungen, die sich mit Daten hoher Dimension, jedoch begrenzter Anzahl von Trainingsmustern befassen. Eine natürliche, vereinfachte Annahme besteht darin, unkorrelierte Merkmale mit ungleicher Wichtigkeit anzunehmen.

Dies bedeutet, daß anzunehmen ist, daß p(x|ωi, θr) eine D-dimensionale Gauß&min;sche Verteilung mit unkorrelierten Merkmalen ist, das heißt



Hierbei bezeichnet µr = [ωr1, ωr2, . . . , ωrD]T den mittleren Vektor bzw. Mittelwertvektor, und die diagonale Matrix Σr = diag[σ²r1, σ²r2, . . . σ²rD] bezeichnet die Kovarianz-Matrix.

Zur Approximierung der Dichtefunktion in der Gleichung (4) werden die elliptischen Basisfunktionen (EBF = elliptic basis function) eingesetzt, um als die Basisfunktion für jedes Cluster zu dienen:



Hierbei gilt:



Nach einer exponentiellen Transformation kann exp{ψ(x, ωi, θr)} als die gleiche Gauß&min;sche Verteilung wie in Gleichung (4) beschrieben betrachtet werden, mit einer kleineren Benennungsänderung:



Anders ausgedrückt ergibt sich:



Die Lernregeln für das probabilistische, entscheidungsbasierte, neurale Netzwerk 40 sind die folgenden. Bei der Trainingsmethode für das entscheidungsbasierte, neurale Netzwerk wird das LUGS-Prinzip befolgt. Bei der lokal nicht überwachten Phase (LU-Phase) bei dem probabilistischen, entscheidungsbasierten, neuralen Netzwerk können mehrere nicht überwachte Lernmethoden wie etwa LVQ, k-Mean (k-Mittelwert) EM usw. eingesetzt werden. Hinsichtlich des global überwachten Lernens (GS-Lernen) wird die entscheidungsbasierte Lernregel eingesetzt. Es sein angenommen, daß bekannt ist, daß das m-te Trainingsmuster x(m) zu ωi gehört, und daß



Dies bedeutet, daß die gewinnende Klasse für das Muster die j-te Klasse (Unternetz) ist. Dann und nur dann, wenn j ≠ i ist, (das heißt, wenn x(m) fehlerhaft klassifiziert wird), wird die nachfolgende Aktualisierung durchgeführt:



Falls das Trainingsmuster zu dem sogenannten negativen Trainingssatz (das heißt dem Satz "unbekannt") gehört, wird lediglich die antiverstärkende Lernregel durchgeführt, da keine "korrekte" Klasse zur Verstärkung vorhanden ist.

Die Gradientenvektoren in Gleichung (8) werden in folgender Weise berechnet:



Hierbei gilt:



P(θri) und (Pωi), falls P(ωi) ≠ P(ωj)) kann durch den EM-Algorithmus gelernt werden:

Bei der Epoche bzw. dem Zyklus j:



Da das probabilistische, entscheidungsbasierte, neurale Netzwerk 40 probabilistische Ausgänge bzw. Wahrscheinlichkeits-Ausgangsgrößen bereitstellt, wird ein Ablauf, der ähnlich der Neyman-Pearson-Hypothese ist, zur Aktualisierung des Schwellenwerts befolgt. Demzufolge wird das Testen dadurch bewerkstelligt, daß ein Schwellenwert für die Ausgangsgrößen bzw. Ausgangssignale des Netzwerks eingestellt wird, und daß die Wahrscheinlichkeit eines fehlerhaften Akzeptierens und eines fehlerhaften Zurückweisens berechnet wird. Damit die wahrscheinlichsten Regionen für Muster aus der Klasse ωi ausfindig gemacht werden, ist es bevorzugt, eine Schwelle Ti derart auszuwählen, daß eine Eingangsgröße bzw. ein Eingangssignal x in die Klasse ωi klassifiziert wird, falls log p(x|ωi) > Ti ist. Bei einer Eingangsgröße x, bei der x ein Element von ωi darstellt, (x ∈ ωi), jedoch log p(x|ωi) < Ti ist, sollte Ti seinen Wert verringern. Falls auf der anderen Seite x kein Element von ωi ist, jedoch log p(x|ωi) > Ti ist, sollte Ti anwachsen. Bei der vorliegenden Erfindung wird eine adaptive Lernregel zum Trainieren des Schwellwerts Ti wie folgt vorgeschlagen: Definiere d ≡ Ti - log p(x|ω). Weiterhin wird eine Kostenfunktion l(d) definiert. l(d) kann entweder eine Schrittfunktion bzw. Stufenfunktion, eine lineare Funktion oder eine sigmoidale (bzw. sigmaförmige oder summenförmige) Funktion mit Fuzzy-Entscheidung sein. Sobald das Netzwerk das Training beendet hat, können die Schwellenwerte in folgender Weise trainiert werden: Wenn der positive Lernparameter ηi beim Schritt i bzw. j gegeben ist:



In der nachfolgenden Erläuterung ist die Methode, die zum Erzeugen von Trainingsmustern für das probabilistische, entscheidungsbasierte, neurale Netzwerk eingesetzt wird, in größeren Einzelheiten beschrieben. Im allgemeinen gibt es drei hauptsächliche Gesichtspunkte für die bei der vorliegenden Erfindung eingesetzte Methode zur Erzeugung von Trainingsmustern. Der erste Gesichtspunkt besteht in der Erzeugung von virtuellen bzw. künstlichen Trainingsmustern. Bei dem Beginn der Trainingsphase wird eine gewisse Anzahl von Gesichtsbildern ausgewählt, um als Beispiel dienende Gesichts/Augen-Muster zum Trainieren des vorstehend erläuterten Gesichtsdetektors und der Augenlokalisierungseinrichtung, die jeweils auf dem entscheidungsbasierten, neuralen Netzwerk basieren, zu erzeugen. Typischerweise können diese als Beispiel dienenden Gesichts/Augen-Muster manuell aus diesen Bildern extrahiert werden. Für jedes als Beispiel dienende Muster können virtuelle bzw. künstliche Muster dadurch erzeugt werden, daß verschiedene, affine Transformationen wie etwa eine Drehung, eine Skalierung, eine Verschiebung und eine Spiegelungsverarbeitung bezüglich des ursprünglichen Musters durchgeführt werden. Mittels dieser Methode wird jedes der als Beispiel dienenden Muster bzw. Musterexemplare zur erneuten Erzeugung einer Anzahl von bis zu 200 künstlichen Trainingsmustern benutzt.

Der zweite Gesichtspunkt ist die Erzeugung von positiven/negativen Trainingsmustern. Nicht alle künstlichen Trainingsmuster werden als gute Gesichts- oder Augenmuster betrachtet. Falls ein künstliches Muster gegenüber dem ursprünglichen Musterexemplar geringfügig gestört bzw. verzerrt ist, wird es in den positiven Trainingssatz eingeschlossen. Dies verstärkt allgemein die Robustheit des neuralen Netzwerks. Falls die Störung bzw. Verzerrung auf der anderen Seite einen gewissen Schwellwert (empirisch durch Versuch und Irrtum festgelegt) überschreitet, wird das künstliche Muster in den negativen Trainingssatz übernommen. Wenn das probabilistische, entscheidungsbasierte, neurale Netzwerk trainiert wird, werden positive Muster für verstärktes Lernen benutzt, während negative Muster für antiverstärktes Lernen eingesetzt werden.

Der dritte Gesichtspunkt besteht in der Erzeugung eines negativen Laufzeit- bzw. Laufdauer-Musters. Während der Trainingsphase kann das probabilistische, entscheidungsbasierte, neurale Netzwerk, das sich noch im Training befindet, zur Überprüfung der gesamten Bilddatenbank bei jeweils k Epochen bzw. Zyklen eingesetzt werden. Falls das Netzwerk ein Gesicht (Auge) irgendwo in einem Bild fehlerhaft erfaßt, wird dieses bestimmte Unterbild in den negativen Trainingssatz übernommen.

Da das probabilistische, entscheidungsbasierte, neurale Netzwerk für eine Multi-Sensor- Klassifizierung zweckmäßig ist, kann eine zusätzliche Sensorinformation zur Verbesserung des Erkennungsvermögens leicht eingefügt werden. Zwei Ansätze für eine Multi-Sensor- Klassifizierung sind bei der vorliegenden Erfindung möglich. Der erste Ansatz enthält eine hierarchische Klassifizierung, bei der Sensorinformationen in aufeinanderfolgenden Verarbeitungsstufen kaskadenförmig verarbeitet bzw. behandelt werden. Mögliche Kandidaten für einen hierarchischen Sensor sind die Haarlinie bzw. der Haaransatz und der Mund. Der zweite Ansatz enthält eine Multi-Sensor-Verschmelzung, bei der Sensorinformationen lateral zusammengefaßt werden, um eine verbesserte Klassifizierung zu ergeben.

Es wird nun auf Fig. 4 Bezug genommen. Dort ist ein hierarchisches Informationsverarbeitungssystem auf der Basis eines probabilistischen, entscheidungsbasierten, neuralen Netzwerks gezeigt, das mit dem Bezugszeichen 50 bezeichnet ist. Das System 50 ist gleichartig wie das System gemäß Fig. 1 und enthält weiterhin ein Vorverarbeitungs-Modul 52, das Haaransatz- oder Mund-Merkmale bereitstellt. Gemäß Fig. 4 werden die Haaransatz- Merkmale durch das Vorverarbeitungs-Modul 52 bereitgestellt. Die Haaransatz-Bilder werden an die Gesichts-Verifizierungseinrichtung 54 zusammen mit einer Entscheidungsinformation angelegt, die durch die Gesichtserkennungseinrichtung 24 erzeugt wird. Allgemein arbeitet dieses System, indem zwei Verarbeitungsstufen kaskadenförmig verschaltet werden. Genauer gesagt, ist eine Gesichtsverifizierungstufe kaskadenförmig nach der (ursprünglichen) Gesichtserkennungsstufe angeordnet. Die Gesichtsverifizierungseinrichtung 52 selbst ist ein weiterer Klassifizierer in Form eines entscheidungsbasierten, neuralen Netzwerks. Ihre Funktion besteht in der Verifizierung/Zurückweisung der Entscheidung der primären Erkennungseinrichtung. Die Verifizierungseinrichtung kann gemäß der entscheidungsbasierten Lernregel trainiert werden. Der Eingangsvektor ist ein 12 × 8- Merkmalsvektor, der durch Abwärtsabtastung der Stirn/Haaransatz-Region des Gesichtsbilds erhalten wird. In diesem System sind drei Verifikationsmethoden möglich. Bei der ersten Methode ist in Erinnerung zu rufen, daß jedes Unternetz bzw. Teilnetz der primären DBNN-Erkennungseinrichtung ein Vertrauensergebnis für ein eingegebenes Muster erzeugt. Es sei angenommen, daß das höchste Ergebnis in dem i-ten Unternetz erzielt wird. Falls das Vertrauensergebnls des Unternetzes i unterhalb der Schwelle liegt, wird die höchstrangige Wahl der Gesichtsverifizierungseinrichtung überprüft. Falls die beste Übereinstimmung der Stirn/Haaransatz-Region ebenfalls die Klasse i, dann wird die Klasse i erkannt und verifiziert. Andernfalls wird das Testmuster als ein Eindringling beurteilt. Falls das Vertrauensergebnis des Unternetzes i oberhalb der Schwelle liegt, und falls die Klasse i in den obersten k Übereinstimmungen der Stirn/Haaransatz-Region liegt (k ist zum Beispiel gleich 6), wird die Erkennung bestätigt. Andernfalls wird die Person zurückgewiesen.

Bei der zweiten Methode werden Ähnlichkeitslisten eingeführt. Jede Klasse hat ihre eigene Ähnlichkeitsliste. Die Längen der Listen verändern sich ebenfalls von Person zu Person. Anfänglich enthält die Ähnlichkeitsliste der Klasse j lediglich die Klasse j selbst. Es sei nun angenommen, daß die DBNN-Gesichtsverifizierungseinrichtung den Trainingsprozeß auf der Basis der entscheidungsbasierten Lernregel abgeschlossen hat. Falls ein Trainingsmuster (ursprünglich aus der Klasse j) in eine andere Klasse klassifiziert bzw. eingereiht worden ist, zum Beispiel das Trainingsmuster k, dann wird die Klasse k zu der Ähnlichkeitsliste der Klasse j hinzuaddiert. Dieser Prozeß wird solange wiederholt, bis alle Trainingsmuster der bekannten Personen getestet sind.

Im Hinblick auf die Verifikationsregel wird, wenn das Vertrauensergebnis des Unternetzes i unterhalb der Schwelle liegt, die oberste bzw. erste Wahl der Gesichtsverifizierungseinrichtung überprüft. Falls die beste Übereinstimmung der Stirn/Haaransatz-Region ebenfalls die Klasse i ist, dann wird die Klasse i erkannt und verifiziert. Andernfalls wird das Testmuster als dasjenige eines Eindringlings beurteilt. Falls das Vertrauensergebnis des Unternetzes i oberhalb der Schwelle liegt, und falls die oberste bzw. favorisierteste Klasse der Gesichtsverifizierungseinrichtung sich in der Ähnlichkeitsliste der Klasse i befindet, wird die Erkennung bestätigt. Andernfalls wird die Person zurückgewiesen.

Die dritte Methode ist die gleiche wie die zweite Methode, mit der Ausnahme, daß die Bestätigung nun noch strenger gemacht ist. Genauer gesagt kann, wenn sich das Vertrauensergebnis des Unternetzes i unterhalb der Schwelle befindet, dessen Erkennung dennoch bestätigt werden, wenn die oberste bzw. primäre Wahl der Gesichtsverifizierungseinrichtung die Klasse i ist und deren Vertrauensergebnis den Schwellenwert der Verifizierungseinrichtung überschreitet. Andernfalls wird die Person zurückgewiesen. Falls das Vertrauensergebnis des Unternetzes i oberhalb der Schwelle liegt, kann die Erkennung lediglich dann bestätigt werden, wenn die primäre Wahl der Gesichtsverifizierungseinrichtung sich in der Ähnlichkeitsliste der Klasse i befindet und deren Vertrauensergebnis den Schwellwert der Verifizierungseinrichtung überschreitet. Andernfalls wird die Person zurückgewiesen.

Alle diese drei Methoden verbessern das Leistungsvermögen der Gesichtserkennungseinrichtung beträchtlich. Experimentelle Ergebnisse zeigten, daß die dritte Methode ungefähr die gleiche Rate (Rate falscher Akzeptanz + falscher Zurückweisung) wie die zweite Methode ergibt. Der Unterschied zwischen diesen beiden Methoden besteht darin, daß die Rate fehlerhafter Zurückweisung bei der dritten Methode größer ist, während die Rate fehlerhafter Akzeptanz niedriger ist.

Es wird nun auf Fig. 5 Bezug genommen. Dort ist eine als Beispiel dienende Ausführungsform eines entscheidungsbasierten neuralen Netzwerks mit mehreren Kanälen für eine biometrische Erkennung mit mehreren Sensoren gezeigt und mit dem Bezugszeichen 60 versehen. Diese Gestaltung besteht aus mehreren Klassifizierungskanälen C 1, 1 bis C 1, 6 und C2, 1 bis C2, 6, von denen jeder Eingangsvektoren entweder von unterschiedlichen Sensoren oder von einem Abschnitt eines höhere Dimension aufweisenden Merkmalsvektors empfängt. Hierbei sind die Kanäle C1, 1 bis C1, 6 und C2, 1 bis C2, 6 nicht in primäre oder sekundäre Kategorien unterteilt bzw. unterschieden. Daher ist eine laterale Verschmelzung der Information noch angebrachter. Die Ausgangssignale der Kanäle werden mit einigen geeigneten Gewichtungen W11 bis W26 zusammengefaßt. Der Gewichtsfaktor wird auf der Basis des Vertrauens bzw. der Zuverlässigkeit zugeordnet, das bzw. die der entsprechende Kanal seinem Erkennungsergebnis zumißt. Da das entscheidungsbasierte, neurale Netzwerk probabilistische Ausgänge bzw. Wahrscheinlichkeits- Ausgangssignale erzeugt, ist es naturgemäß die Kanalgewichte derart auszulegen, daß sie Wahrscheinlichkeitseigenschaften besitzen. cki bezeichnet das Ausgangssignal des i-ten Unternetzes in dem Kanal k, das gleich p( ≙|ωi, Ck) ist. Weiterhin ist anzumerken, daß das Vertrauens- bzw. Zuverlässigkeitsmaß Wki = P(Cki) und das zusammengefaßte Ausgangssignal für das Unternetz i gleich Oi ist, das p( ≙|ωi) ist.

Bei der klassenabhängigen Kanalverschmelzung entsprechen die Gewichtungsfaktoren dem Vertrauen bzw. der Zuverlässigkeit P(Cki) für jeden Kanal. Hierbei repräsentiert P(Cki) die Anzeige für die Zuverlässigkeit im Kanal k, wenn das Testmuster aus der Klasse ωi herrührt. (Definitionsgemäß ist ΣKk=1P(Cki) = 1, so daß sie die Eigenschaft einer Wahrscheinlichkeitsfunktion besitzt). Es sei angenommen, daß K Kanäle in dem Unternetz ωi vorhanden sind, und daß innerhalb jedes Kanals R Cluster bzw. Gruppen vorhanden sind. Das Wahrscheinlichkeitsmodell des Netzwerks mit Kanalverschmelzung auf der Basis eines entscheidungsbasierten, neuralen Netzwerks läßt sich in folgender Weise beschreiben:



Hierbei bezeichnet p(x|ωi, Ck) die Diskriminantenfunktion des Unternetzes i in dem Kanal k, während p(x|ωi) die kombinierte Diskriminantenfunktion für die Klasse ωi bezeichnet. Es ist anzumerken, daß x = [x&sub1;T, . . ., xKT]T ist, und daß lediglich xk in der obigen Gleichung enthalten ist, da p(x|ωi, Ck) von Ck bedingungsmäßig abhängig ist. Nachdem alle Parameter in den Kanälen ihr Training abgeschlossen haben, läßt sich die Kanalzuverlässigkeit P(Ck, ωi) in folgender Weise erlernen: Es wird αk = P(Cki) definiert. Am Beginn wird



zugeordnet.

Beim Schritt j



Sobald das NN (neurale Netzwerk) trainiert ist, werden die Verschmelzungsgewichte während der Gewinnungsphase bzw. Wiedergewinnungsphase konstant bleiben.

Es wird nun eine noch allgemeinere Version einer mehrkanaligen Verschmelzung vorgestellt, die als eine datenabhängige Kanalverschmelzung bezeichnet wird. Anstelle der Benutzung der Wahrscheinlichkeit (Likelihood) der Beobachtung von k, das einer Klasse (p(x|ωi, Ck)) gegeben bzw. zugeordnet ist, um die Diskriminantenfunktion für jedes Cluster zu modellieren, werden die nachträglichen Wahrscheinlichkeiten der Auswahl einer Klasse bei gegebenem x benutzt (pωi|x, Ck)). Bei dieser Version des mehrkanaligen Netzwerks wird eine neue Zuverlässigkeit P(Ck|x) zugeordnet, die für das Vertrauen im Kanal k steht, wenn das Eingangsmuster x ist.

Demgemäß wird das Wahrscheinlichkeitsmodell ebenfalls derart abgeändert, daß es zu



wird.

P(ωi|x, Ck) kann durch P(ωi|x, Ck) = P(ωi|Ck)p(x|ωi, Ck)/p(x|Ck) erhalten werden, und die Zuverlässigkeit P(Ck|x) kann aus den folgenden Gleichungen erhalten werden:



Hierbei kann p(x|Ck) geradlinig aus der Gleichung p(x|Ck) = ΣiP(ωi|Ck)p(x|ωi, Ck) berechnet werden und P(Ck) kann aus der Gleichung (12) in Erfahrung gebracht werden (wobei aber p(x|ωi, Ck) durch p(x|Ck) zu ersetzen ist. Der Ausdruck P(Ck) kann als "das allgemeine Vertrauen" bzw. "die allgemeine Zuverlässigkeit" bezeichnet werden, das bzw. die man bezüglich des Kanals k hat.

Im Unterschied zu dem klassenabhängigen Ansatz müssen die Verschmelzungsgewichte für jedes Testmuster während der Wiedergewinnungsphase berechnet werden.

Im folgenden werden Testergebnisse beschrieben.

Experimentelle Testergebnisse werden nachfolgend kurz zusammengefaßt. Das probabilistische, entscheidungsbasierte, neurale Netzwerk hat aktuelle Gesichtspositionen widerspruchsfrei und zuverlässig bestimmt, und zwar auf der Basis von Experimenten, die für mehr als 1000 Testmuster durchgeführt wurden. Das probabilistische, entscheidungsbasierte, neurale Netzwerk ergibt auch ein sehr zufriedenstellendes Lokalisierungsvermögen bei der Augenlokalisierung. Es ist gegenüber kleinen Änderungen der Kopfgröße, der Orientierung des Gesichts (bis zu ungefähr 30%) und dem Vorhandensein von Brillen unempfindlich. Die vorliegende Erfindung ist gegenüber starken Veränderungen der Gesichtsmerkmale und der Augenformen sehr robust. Das probabilistische, entscheidungsbasierte, neurale Netzwerk benötigt lediglich 200 ms auf einer Arbeitsstation SUN Sparc20, um menschliche Gesichter in einem Bild mit 320 × 240 Bildelementen aufzufinden. Bei einem Gesichtsbild mit 320 × 240 Bildelementen benötigt das probabilistische, entscheidungsbasierte, neurale Netzwerk 500 ms für die Lokalisierung von zwei Augen auf einer Arbeitsstation SUN Sparc20. Aufgrund der inhärenten, parallelen und verteilten Verarbeitungsnatur des entscheidungsbasierten, neuralen Netzwerks kann diese Technik auch mittels spezialisierter Hardware für ein Echtzeit-Leistungsvermögen einfach implementiert werden.

Nachfolgend wird ein Beispiel des Einsatzvermögens beschrieben, das auf der Grundlage des experimentellen Verhaltens bei öffentlichen Datenbanken (FERET-Datenbank) und im Haus befindlichen Datenbanken (SCR-Datenbanken) durchgeführt wurden. Zunächst wurde ein Experiment bei 200 Personen (jeweils mit zwei Frontansichten) der Datenbank ARPA/ ARL FERET durchgeführt. Ein Bild je Person wurde zum Trainieren und das andere Bild zum Testen benutzt. Ein mit Entscheidungsgrenzen angesteuertes bzw. mit Entscheidungsgrenzen-Steuerung arbeitendes, entscheidungsbasiertes, neuralen Netzwerk erreicht beim Training eine Genauigkeit von 100% und beim Testen eine Genauigkeit von 96%. Eine verbesserte probabilistische Variante des entscheidungsbasierten, neuralen Netzwerks erreichte eine Erkennungsrate von 99%. Die Datenbank SCR 80 × 20 besteht aus 80 Leuten unterschiedlicher Rasse, unterschiedlichen Alters und unterschiedlichen Geschlechts. Die Datenbank enthält 20 Bilder für jede Person. Falls eine Person eine Brille trägt, sind 10 Bilder mit Brille und 10 ohne Brille. Der Trainingssatz umfaßte 4 Bilder je Person. Der Testsatz enthielt 16 Bilder je Person, das heißt insgesamt 1280 Bilder. Bei allen Bildern erfaßte der Gesichtsdetektor, der auf dem entscheidungsbasierten, neuralen Netzwerk basiert, die Mitte des Gesichts stets korrekt, wodurch eine Erfolgsrate von 100 % erreicht wurde. Die Augenlokalisierung ist eine schwierigere Aufgabe als die Gesichtserfassung, insbesondere dann, wenn Brillen vorhanden sind. Von den 1280 Bildern kam die Augenlokalisierungseinrichtung, die auf dem entscheidungsbasierten, neuralen Netzwerk basiert, bei 5 Bildern zu einer fehlerhaften Erfassung der Augen mit einem Fehler von mehr als 5 Bildelementen. Bei den verbleibenden 1275 Bildern erzielte die Gesichtserkennungseinrichtung auf der Basis des entscheidungsbasierten, neuralen Netzwerks eine Erkennungsrate von 100%. Eine Datenbank SCR-IM 40 × 150 bot die Gelegenheit zum Experimentieren mit einer sehr viel größeren Orientierung und anderen Variationen. Die Datenbank enthielt 150 Bilder für jede von 40 Personen. Die Bilder wurden kontinuierlich gewonnen, während die Person ihren Kopf langsam bewegte und drehte. Die Kopfdrehungen lagen nicht nur in einem sehr breiten Winkel (bis zu 45°), sondern auch entlang verschiedener Achsen vor (das heißt links-rechts, oben-unten und verkippte Drehungen). Der Gesichtsdetektor auf DBNN-Basis und die Augenlokalisierungseinrichtung auf DBNN- Basis arbeiteten bei 75% der 6000 Bilder in dieser Datenbank korrekt, was den sogenannten gültigen Datensatz bildete. Ein herkömmlicher Gesichtsdetektor und eine herkömmliche Augenlokalisierungseinrichtung wurden lediglich bezüglich Frontansichten trainiert. Sie konnten Bilder mit Drehungen bis lediglich 30° handhaben. Die Gesichtserkennungseinrichtung auf DBNN-Basis erzielte eine sehr hohe Erfassungsrate von 98%.

Das hierarchische Gesichtserkennungssystem auf der DBNN-Basis wurde mittels einer Gesichts-Datenbank für 38 Personen getestet. Die hierarchische Klassifizierung reduzierte die fehlerhafte Akzeptanz erheblich von 9,35% auf 0% und die fehlerhafte Zurückweisung von 7,29% auf 2,25%, verglichen mit einer nicht hierarchischen Gesichtserkennung.

Es versteht sich, daß die hier beschriebenen Ausführungsbeispiele lediglich als Beispiel dienen und verschiedenartige Abänderungen und Modifikationen unter Einsatz funktionell äquivalenter Elemente ergriffen werden können.


Anspruch[de]
  1. 1. System zum automatischen Erfassen und Erkennen der Identität eines verformbaren Objekts in einer beliebigen Bildszene, mit

    einer Objekterfassungseinrichtung zum Erkennen, ob das Objekt in der beliebigen Bildszene vorhanden ist,

    einer Merkmalslokalisierungseinrichtung zum Bestimmen der Position eines bestimmten identifizierenden Merkmals an dem Objekt, wobei die Merkmalslokalisierungseinrichtung mit der Objekterfassungseinrichtung gekoppelt ist,

    einer Merkmalsextrahiereinrichtung, die mit der Merkmalslokalisierungseinrichtung gekoppelt ist und zum Empfangen von Koordinaten, die von der Merkmalslokalisierungseinrichtung abgegeben werden und die die Position des identifizierenden Merkmals anzeigen, und zum Herausgreifen von Informationen aus den Koordinaten dient, wobei die Informationen mit anderen Merkmalen des Objekts zusammenhängen, die zur Erzeugung eines geringe Auflösung besitzenden Bilds des Objekts eingesetzt werden, und

    einer Objekterkennungseinrichtung zum Ermitteln der Identität des Objekts, wobei die Objekterkennungseinrichtung mit der Merkmalsextrahiereinrichtung gekoppelt ist und dahingehend betreibbar ist, daß sie das geringe Auflösung besitzende Bild des Objekts, das von der Merkmalsextrahiereinrichtung zugeführt wird, zur Identifizierung des Objekts empfängt.
  2. 2. System nach Anspruch 1, gekennzeichnet durch eine Bildgabeeinrichtung zur Gewinnung der beliebigen Bildszene, aus der das Objekt erfaßt und erkannt wird, wobei die Bildgabeeinrichtung mit dem Objektdetektor gekoppelt ist.
  3. 3. System nach Anspruch 1, gekennzeichnet durch eine erste Speichereinrichtung zum Speichern von Informationen, die mit dem Objekt zusammenhängen, wobei die erste Speichereinrichtung mit der Objekterfassungseinrichtung verknüpft ist.
  4. 4. System nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine zweite Speichereinrichtung zum Speichern von Informationen, die mit dem identifizierenden Merkmal des Objekts zusammenhängen, wobei die zweite Speichereinrichtung mit der Merkmalslokalisierungseinrichtung verknüpft ist.
  5. 5. System nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine dritte Speichereinrichtung zum Speichern von Informationen, die mit der Identität des Objekts zusammenhängen, wobei die dritte Speichereinrichtung mit der Objekterkennungseinrichtung verknüpft ist.
  6. 6. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Objekterfassungseinrichtung, die Merkmalslokalisierungseinrichtung und die Objekterkennungseinrichtung jeweils als ein entscheidungsbasiertes, neurales Netzwerk implementiert sind.
  7. 7. System nach Anspruch 6, dadurch gekennzeichnet, daß das entscheidungsbasierte, neurale Netzwerk einen Aufbau mit "eine Klasse in einem Netzwerk" besitzt, der eine Mehrzahl von Unternetzen und eine Mehrzahl von Klassen aufweist, wobei jedes der Unternetze einer der Klassen zugeordnet ist, um diese von den anderen Klassen zu unterscheiden.
  8. 8. System nach Anspruch 6 oder 7, dadurch gekennzeichnet, daß das entscheidungsbasierte, neurale Netzwerk ein Trainingsschema enthält, das eine erste Phase und eine zweite Phase umfaßt, wobei die erste Phase das individuelle Trainieren jedes der Unternetze ohne gegenseitigen Austausch von Informationen zwischen den Klassen beinhaltet und die zweite Phase ein verstärkendes Lernen und ein anti-verstärkendes Lernen des während der ersten Phase erzielten Lernens beinhaltet.
  9. 9. System nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, daß das entscheidungsbasierte, neurale Netzwerk ein probabilistisches, entscheidungsbasiertes, neurales Netzwerk aufweist, wobei das verstärkende Lernen und das antiverstärkende Lernen durch ein Trainingsmuster x(m) bereitgestellt werden, das zu einer Klasse gehört, wobei gilt:



    wobei das verstärkende Lernen in folgender Weise durchgeführt wird:



    und das anti-verstärkende Lernen gemäß der folgenden Beziehung durchgeführt wird:



  10. 10. System nach Anspruch 8, dadurch gekennzeichnet, daß das entscheidungsbasierte, neurale Netzwerk ein probabilistisches, entscheidungsbasiertes, neurales Netzwerk aufweist, das eine Mehrzahl von probabilistischen Ausgangssignalen enthält, von denen jeder einen Schwellenwert hat, der gemäß einer adaptiven Lernregel trainiert ist:



  11. 11. System nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß die Objekterfassungseinrichtung, die Merkmalslokalisierungseinrichtung und die Objekterkennungseinrichtung jeweils durch ein probabilistisches, entscheidungsbasiertes, neurales Netzwerk implementiert sind.
  12. 12. System nach Anspruch 11, dadurch gekennzeichnet, daß das probabilistische, entscheidungsbasierte, neurale Netzwerk eine Mehrzahl von Unternetzen enthält, wobei jedes Unternetz eine Mehrzahl von Cluster-Basisfunktionen aufweist, die vorhergehende Cluster-Wahrscheinlichkeiten gemäß der folgenden Beziehung aufweisen:



  13. 13. System nach Anspruch 11, dadurch gekennzeichnet, daß das probabilistische, entscheidungsbasierte, neurale Netzwerk eine Mehrzahl von Unternetzen enthält, von denen jedes eine Mehrzahl von elliptischen Basisfunktionen gemäß der folgenden Beziehung aufweist:



  14. 14. System nach Anspruch 11, dadurch gekennzeichnet, daß das probabilistische, entscheidungsbasierte, neurale Netzwerk eine Mehrzahl von Unternetzen enthält, von denen jedes eine Diskriminantenfunktion enthält, die einen Nichtlinearitäts- Operator aufweist.
  15. 15. System nach Anspruch 14, dadurch gekennzeichnet, daß die Diskriminantenfunktion einen logarithmischen Operator aufweist, der eine logarithmische Wahrscheinlichkeitsfunktion approximiert:



  16. 16. System nach Anspruch 14, dadurch gekennzeichnet, daß die Diskriminantenfunktion einen Normalisierungs-Operator aufweist, der eine nachträgliche Klassenwahrscheinlichkeit approximiert.
  17. 17. System nach Anspruch 11, gekennzeichnet durch eine Objektverifizierungseinrichtung, die als ein probabilistisches, entscheidungsbasiertes, neurales Netzwerk zum Verifizieren der Entscheidung der Objekterkennungseinrichtung implementiert ist, wobei die Objektverifizierungseinrichtung zusätzliche Information bezüglich des Objekts empfängt, die in aufeinanderfolgenden Verarbeitungsstufen in einer hierarchischen Weise mittels der Objektverifizierungseinrichtung kaskadenförmig bearbeitet werden.
  18. 18. System nach Anspruch 11, dadurch gekennzeichnet, daß das probabilistische, entscheidungsbasierte, neurale Netzwerk eine Mehrzahl von Klassifizierer-Kanälen aufweist, die jeweils einen Ausgang haben, wobei die Ausgänge lateral bzw. seitlich durch Gewichten der Kanäle verschmolzen werden.
  19. 19. System nach Anspruch 11, dadurch gekennzeichnet, daß das probabilistische, entscheidungsbasierte, neurale Netzwerk eine Mehrzahl von Klassifizierer-Kanälen aufweist, die jeweils einen Ausgang haben, wobei die Ausgänge durch eine klassenabhängige Kanalverschmelzung lateral bzw. seitlich gemäß der folgenden Gleichung verschmolzen bzw. zusammengefaßt werden:



  20. 20. System nach Anspruch 11, dadurch gekennzeichnet, daß das probabilistische, entscheidungsbasierte, neurale Netzwerk eine Mehrzahl von Klassifizierer-Kanälen aufweist, die jeweils einen Ausgang bzw. ein Ausgangssignal haben, wobei die Ausgänge bzw. Ausgangssignale durch eine datenabhängige Kanalverschmelzung gemäß der folgenden Gleichung seitlich bzw. lateral verknüpft werden:



  21. 21. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das Objekt ein menschliches Gesicht aufweist und daß das identifizierende Merkmal ein Augenpaar in dem menschlichen Gesicht enthält.
  22. 22. Verfahren zum automatischen Erfassen und Erkennen der Identität eines verformbaren Objekts in einer beliebigen Bildszene, mit den Schritten:

    Vorverarbeiten der Bildszene zu Unterbildern,

    Vergleichen jedes der Unterbilder mit einer Datenbank eines Objektdetektors, die unterschiedliche Versionen des Objekts speichert, um hierdurch zu ermitteln, ob irgendeines der Unterbilder das Objekt ist,

    Lokalisieren der Koordinaten eines identifizierenden Merkmals an dem Objekt durch Vergleichen der Koordinaten mit einer Datenbank einer Merkmalslokalisierungseinrichtung, die Koordinaten speichert, die unterschiedliche Versionen des identifizierenden Merkmals anzeigen,

    Herausgreifen von Informationen, die mit anderen Merkmalen des Objekts zusammenhängen, aus den Koordinaten, um eine geringe Auflösung besitzendes Bild des Objekts zu erzeugen,

    Eingeben des geringe Auflösung aufweisenden Bilds des Objektbilds in eine Objekterkennungseinrichtung, und

    Bestimmen der Identität des Objekts.
  23. 23. Verfahren nach Anspruch 21, dadurch gekennzeichnet, daß der Schritt des Vergleichens jedes der Unterbilder mit der Datenbank des Objektdetektors die weiteren Schritte enthält:

    Erzeugen eines Erfassungsergebnisses für jedes Unterbild,

    Erzeugen eines Vertrauensergebnisses bzw. einer Quote für jedes Unterbild, das bzw. die das Vertrauen bzw. die Zuverlässigkeit bezüglich des Erfassungsergebnisses anzeigt, und

    Vergleichen des Vertrauensergebnisses bzw. Zuverlässigkeitsmaßes mit einem vorbestimmten, trainierten Schwellwert, wobei das Objekt erfaßt wird, wenn das Vertrauensmaß oberhalb des vorbestimmten, trainierten Schwellwerts liegt, und das Objekt nicht erfaßt wird, wenn das Zuverlässigkeitsmaß unterhalb des vorbestimmten, trainierten Schwellwerts liegt.
  24. 24. Verfahren nach Anspruch 22, dadurch gekennzeichnet, daß der Schritt des Herausgreifens von Informationen, die mit anderen Merkmalen des Objekts zusammenhängen, die weiteren Schritte aufweist:

    Einstellen der Intensität und der Ränder des identifizierenden Merkmals und der anderen Merkmale, um ein normalisiertes bzw. standardisiertes und rekonditioniertes Objektbild zu erzeugen und

    Verringern der Auflösung des Objektbilds.
  25. 25. Verfahren nach einem der Ansprüche 22 bis 24, dadurch gekennzeichnet, daß der Schritt der Bestimmung der Identität des Objektbilds die weiteren Schritte enthält:

    Erzeugen eines Erfassungsergebnisses für das geringe Auflösung aufweisende Objektbild,

    Erzeugen eines Vertrauens- bzw. Zuverlässigkeitsmaßes für das Objektbild, das das Vertrauen bzw. die Zuverlässigkeit hinsichtlich des Erfassungsergebnisses anzeigt, und

    Vergleichen des Zuverlässigkeitsmaßes mit einem vorbestimmten, trainierten Schwellwert, wobei das Objektbild identifiziert wird, wenn das Zuverlässigkeitsmaß oberhalb des vorbestimmten, trainierten Schwellwerts liegt, während das Objektbild nicht identifiziert wird, wenn das Zuverlässigkeitsmaß unterhalb des vorbestimmten, trainierten Schwellwerts liegt.
  26. 26. Verfahren nach einem der Ansprüche 22 bis 25, dadurch gekennzeichnet, daß das verformbare Objekt ein menschliches Gesicht aufweist, daß das identifizierende Merkmal Augen enthält, daß die anderen Merkmale Augenbrauen, eine Nase, einen Mund und einen Haaransatz enthalten, und daß das Objektbild die Augen und den Mund aufweist.
  27. 27. Verfahren nach einem der Ansprüche 22 bis 26, dadurch gekennzeichnet, daß die Schritte des Vergleichens der Unterbilder mit der Datenbank des Objektdetektors, der Lokalisierung der Koordinaten des identifizierenden Merkmals an dem Objekt, und der Bestimmung der Identität des Objektbilds jeweils durch ein probabilistisches, entscheidungsbasiertes, neurales Netzwerk implementiert werden.
  28. 28. Verfahren nach einem der Ansprüche 22 bis 27, gekennzeichnet durch den Schritt der Verifizierung der Identität des Objekts.
  29. 29. Verfahren nach Anspruch 28, dadurch gekennzeichnet, daß der Verifizierungsschritt durch ein probabilistisches, entscheidungsbasiertes, neurales Netzwerk implementiert wird.
  30. 30. Verfahren nach einem der Ansprüche 22 bis 29, dadurch gekennzeichnet, daß der Schritt der Bestimmung der Identität des Objektbilds die weiteren Schritte enthält:

    Bereitstellen einer angeblichen Identität des Objekts durch eine separate Identifizierungseinrichtung,

    Erzeugen eines Vertrauens- bzw. Zuverlässigkeitsmaßes, das die Zuverlässigkeit der angeblichen Identität anzeigt, aus dem geringe Auflösung aufweisenden Objektbild,

    Vergleichen des Zuverlässigkeitsmaßes mit einem vorbestimmten, trainierten Schwellwert, wobei die angebliche Identität des Objekts bestätigt wird, wenn das Zuverlässigkeitsmaß oberhalb des trainierten Schwellwerts liegt, während die angebliche Identität des Objekts nicht bestätigt wird, wenn das Zuverlässigkeitsmaß unterhalb des trainierten Schwellwerts liegt.
  31. 31. Verfahren nach Anspruch 30, dadurch gekennzeichnet, daß der Schritt der Erzeugung des Zuverlässigkeitsmaßes durch ein probabilistisches, entscheidungsbasiertes, neurales Netzwerk durchgeführt wird.






IPC
A Täglicher Lebensbedarf
B Arbeitsverfahren; Transportieren
C Chemie; Hüttenwesen
D Textilien; Papier
E Bauwesen; Erdbohren; Bergbau
F Maschinenbau; Beleuchtung; Heizung; Waffen; Sprengen
G Physik
H Elektrotechnik

Anmelder
Datum

Patentrecherche

Patent Zeichnungen (PDF)

Copyright © 2008 Patent-De Alle Rechte vorbehalten. eMail: info@patent-de.com