PatentDe  


Dokumentenidentifikation DE102005025462A1 16.02.2006
Titel Verfahren und Vorrichtung zur Latenzreduktion bei der Augenverfolgung
Anmelder SensoMotoric Instruments GmbH, 14513 Teltow, DE
Erfinder Teiwes, Winfried, 14513 Teltow, DE;
Grecu, Horia, 14513 Teltow, DE
Vertreter Betten & Resch, 80333 München
DE-Anmeldedatum 02.06.2005
DE-Aktenzeichen 102005025462
Offenlegungstag 16.02.2006
Veröffentlichungstag im Patentblatt 16.02.2006
IPC-Hauptklasse A61B 3/113(2006.01)A, F, I, ,  ,  ,   
IPC-Nebenklasse A61F 9/00(2006.01)A, L, I, ,  ,  ,      G06K 9/62(2006.01)A, L, I, ,  ,  ,      
Zusammenfassung Verfahren zum Verbessern der Leistungsfähigkeit eines Augenpositionsmeßsystems, wobei das Verfahren aufweist; basierend auf einer Messung von vergangenen Augenpositionen, Berechnen einer zukünftigen Augenposition; Verwendung der berechneten Vorhersage einer zukünftigen Augenposition zum Reduzieren des Latenzeffekts des Augenpositionsmeßsystems.

Beschreibung[de]
Gebiet der Erfindung

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Reduktion der Latenzzeit eines Augenverfolgungssystems, insbesondere für ein Augenverfolgungssystem, das in Verbindung mit einer Vorrichtung zur retinalen Diagnostik oder Chirurgie verwendet wird.

Hintergrund der Erfindung

Augenverfolgungssysteme werden in einer Vielzahl von Anwendungen, meistens im medizinischen Bereich in Verbindung mit Systemen für die Chirurgie oder die Diagnose verwendet. Ein Augenverfolgungssystem mißt typischerweise das Auge in Echtzeit unter Verwendung von Fotodioden oder einer Kamera und ermittelt dann basierend auf Signalverarbeitungs- oder Bildverarbeitungsmethoden die Bewegung des Auges, um es zu ermöglichen, eine Kompensation der Bewegung an der diagnostischen oder Chirurgie-Vorrichtung auszuführen, um einen korrekten Betrieb dieser Vorrichtung zu ermöglichen und Positionsfehler zu vermeiden.

Wenn das Bild eines Auges aufgenommen wird, dauert es eine gewisse Zeit (Verarbeitungszeit), bis auf der Grundlage des Bildverarbeitungsalgorithmus die Position des Auges bestimmt wurde, dies wird als „Latenzzeit" bezeichnet. Wenn basierend auf der so bestimmten Augenposition ein Feedback an eine chirurgische oder diagnostische Vorrichtung gegeben werden soll, und falls basierend auf diesem Feedback eine Positionskompensation ausgeführt werden soll, so trägt die zur Ausführung dieser Kompensation nötige Zeit (z. B. durch Bewegung der Vorrichtung oder ihrer Teile) auch zur Latenzzeit des Gesamtsystems bei.

Ein konkretes Beispiel, in dem ein solches Augenverfolgungssystem in Verbindung mit einem diagnostischen oder chirurgischen Gerät verwendet wird, ist ein System für die Retina-Videoverfolgung für die optische Kohärenztomographie (OCT). Ein OCT-System arbeitet ähnlich wie ein Ultraschallgerät, ausgenommen daß anstelle von Ultraschall Infrarotlicht verwendet wird, das emittiert wird, von der Retina reflektiert wird und dann basierend auf dem reflektierten Licht und Bildverarbeitungsverfahren ein diagnostisches Bild erhalten wird. Augenverfolgung mit niedrigen Latenzeffekten kann implementiert werden, um wiederholbare diagnostische Bilder zu sichern trotz Augenbewegungen während der Bildaquisition. Das kombinierte Augenverfolgungs-OCT-Gerät kann dann verwendet werden, um wiederholt die Dicke und Struktur der Retinaschichten über die Zeit zu messen. In ähnlicher Form ist Augenverfolgung mit niedrigen Latenzeffekten nötig, um die Augenbewegung während der Laserchirurgie (laser refractive surgery) zu kompensieren.

Bei solchen Anwendungen wird eine Meß-/Korrekturvorrichtung an präzisen Orten des Auges betrieben. Um die inhärenten Augenpositionsveränderungen zu kompensieren, wird üblicherweise ein Augenverfolgungssystem verwendet. Das Augenverfolgungssystem mißt die Augenposition bei bestimmten Intervallen und leitet die Daten an das Aktuatorsystem weiter. Die Zeit, die zwischen dem Moment des Messens und dem Ende des Anpassens des Aktuatorsystems an die neue Position vergeht, wird als Latenzzeit definiert. Die Latenzzeit schließt die Zeit ein, die erforderlich ist, um die Messung durchzuführen, die Kommunikationszeit und die Aktuations-Anpassungszeit (z. B. von Spiegeln).

Die Latenzzeit entspricht einer Augenpositionsunbestimmtheit, die dynamische Unbestimmtheit genannt wird, da die Augenbewegung in der verstrichenen Zeit unbekannt ist, und es ist daher wünschenswert, die Latenzeffekte zu minimieren. Es ist daher eine Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung bereit zu stellen, die die Latenzeffekte eines Augenverfolgungssystems minimiert.

Zusammenfassung der Erfindung

Gemäß einem Aspekt der Erfindung wird ein Verfahren zur Verbesserung der Leistungsfähigkeit eines Augenverfolgungssystems vorgesehen, wobei das Verfahren aufweist:

Basierend auf der Verfolgung von vergangenen Augenbewegungen, Berechnen einer Vorhersage einer zukünftigen Augenposition;

Verwendung der berechneten Vorhersage einer zukünftigen Augenposition, um den Latenzeffekt des Augenverfolgungssystems zu minimieren.

Durch Berechnung einer Vorhersage einer Augenbewegung basierend auf der Aufzeichnung von Augenbewegungen der Vergangenheit liefert die Möglichkeit, die Latenzzeit eines Augenverfolgungssystems zu verringern. Solch ein Augenverfolgungssystem kann dann in Verbindung mit einer ophthalmologischen diagnostischen oder chirurgischen Vorrichtung verwendet werden oder in diese integriert werden, die dann eine verbesserte Genauigkeit erzielt.

Solch ein Verfahren oder System gemäß einem Ausführungsbeispiel der Erfindung erlaubt die Reduktion der dynamischen Unbestimmtheit basierend auf den Augenpositionsdaten, die von dem Augenverfolgungssystem geliefert werden. Es verringert daher die scheinbare Latenzzeit nicht durch Modifizieren der physikalisch erforderlichen Zeit, sondern durch Modifizierung ihrer Effekte auf das Gesamtsystem.

Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung entspricht das Vorhersageintervall der Verarbeitungszeit, die das Augenverfolgungssystem braucht, um die Position des Auges zu bestimmen. Das stellt sicher, daß die durch die Verarbeitung erzeugte Verzögerung kompensiert wird. Gemäß einem Ausführungsbeispiel entspricht das Vorhersageintervall der Verarbeitungszeit, die das Augenverfolgungssystem benötigt, um die Position des Auges plus die Kompensationszeit einer ophthalmologischen Vorrichtung, die einen chirurgischen Eingriff und/oder eine Diagnose durchführt. Dies stellt sicher, daß in einem Gesamtsystem für Diagnose/Chirurgie jede für eine mechanische Positionskompensation erforderliche Zeit berücksichtigt wird.

Gemäß einem Ausführungsbeispiel wird die Vorhersage für unterschiedliche Vorhersageintervalle erzeugt, die Untervielfache der Augenverfolgungsperiode sind. Dies stellt sicher, daß ein System beliebige Überabtastungsraten einer Augenbewegung liefert.

Gemäß einem Ausführungsbeispiel wird eine vorhergesagte Position mit einer später ermittelten tatsächlichen Position verglichen, um die Qualität der Vorhersage zu überwachen. Dies hält das System auf dem neuesten Stand über die momentane Vorhersagequalität und kann verwendet werden, um den Vorhersagemechanismus upzudaten.

Gemäß einem Ausführungsbeispiel wird ein Verfahren zur Vorhersage einer zukünftigen Augenposition bereitgestellt, wobei das Verfahren aufweist: V

ergleichen einer Sequenz von Augenpositionen mit Daten, die typische Muster von Augenbewegungen repräsentieren;

basierend auf dem Vergleich, Berechnen einer Vorhersage für eine zukünftige Augenposition.

Das Verfahren kann in Verbindung mit einem Augenverfolgungssystem verwendet werden, um seine Latenzzeit zu verringern, es kann auch bei anderen Systemen, wo eine Vorhersage einer Augenbewegung nützlich sein kann, verwendet werden. So kann es beispielsweise in Verbindung mit einem beliebigen System, das die Position eines Auges mißt, verwendet werden. Ein solches Beispiel könnte ein System sein, welches das Sichtfeld einer Person überwacht, um zu überwachen, ob die Sichtlinie ein Gebiet erreicht, auf das die Person nicht schauen sollte, beispielsweise wenn ein Fahrer oder ein Pilot seine Aufmerksamkeit verliert und umherschaut.

Gemäß einem Ausführungsbeispiel wird ferner eine Datenbank geschaffen, welche eine Vielzahl von Datensätzen enthält, die Sequenzen von typischen Augenbewegungen repräsentieren; und

basierend auf einer vergangenen Augenbewegung von einer bestimmten Zeit in der Vergangenheit bis zur Gegenwart wird derjenige Datensatz aus der Vielzahl von Datensätzen herausgegriffen, welcher die zukünftige Augenbewegung am besten vorhersagt.

Gemäß einem Ausführungsbeispiel sind die Datensätze FIR-Filter.

Gemäß einem Ausführungsbeispiel wird eine Kostenfunktion berechnet, um die Qualität der Vorhersage basierend auf dem vorhergesagten Wert und dem tatsächlich gemessenen Wert zu evaluieren, und die Auswahl des Datensatzes wird basierend auf der Kostenfunktion durchgeführt. Dies erlaubt es, eine Veränderung in der Vorhersagequalität zu berücksichtigen.

Gemäß einem Ausführungsbeispiel umfaßt das Verfahren ferner:

Berechnen einer Leistungsfähigkeitsmessung, welche für einen bestimmten Datensatz seine Vorhersageleistungsfähigkeit über die Zeit angibt;

Auswählen des für die Vorhersage verwendeten Datensatzes basierend auf der Leistungsfähigkeitsmessung; und

Updaten der Leistungsfähigkeitsmessung basierend auf einem Vergleich zwischen dem vorhergesagten Wert und dem tatsächlich gemessenen Wert.

Die Leistungsfähigkeitsmessung berücksichtigt die Leistungsfähigkeit über die Vergangenheit und zusätzlich eine momentane Veränderung der Vorhersagequalität, die durch die Kostenfunktion ausgedrückt wird.

Gemäß weiteren Ausführungsbeispielen werden Augenverfolgungssysteme bereitgestellt, die den Verfahren gemäß den Ausführungsbeispielen der Erfindung entsprechen und diese implementieren.

Es wird ferner ein Computerprogramm bereitgestellt, welches Code umfaßt, um einen Computer in die Lage zu versetzen, Verfahren gemäß den Ausführungsbeispielen der Erfindung auszuführen.

Beschreibung der Zeichnungen

1 illustriert schematisch einen Aufbau zur Implementierung eines Ausführungsbeispiels der Erfindung.

2 illustriert schematisch eine Feedbackschleife gemäß einem Ausführungsbeispiel der Erfindung.

3 illustriert schematisch den Betrieb eines Ausführungsbeispiels der vorliegenden Erfindung.

4 illustriert schematisch ein weiteres Ausführungsbeispiel der Erfindung.

Detaillierte Beschreibung

Ein Ausführungsbeispiel der vorliegenden Erfindung wird nun unter Bezugnahme auf 1 erläutert. Eine Kamera (z. B. CCD-Kamera) 110 nimmt Videobilder eines Auges 100 auf, und die Bilder werden in einen Computer 120 eingegeben. Solch eine Anordnung entspricht einem klassischen Augenverfolgungssystem und kann auf die vorliegende Erfindung angewendet werden. Bei dem herkömmlichen Augenverfolgungssystem „verfolgt" der Computer 120 die Augenbewegung basierend auf den aufgenommenen Bildern, z. B. durch Vergleich der Position von einigen „Landmarks" in dem momentanen Bild mit der Position in dem vorherigen Bild, um dadurch die Bewegung des Auges zu „verfolgen". Basierend auf der verfolgten tatsächlichen Position kann ein Feedbacksignal bestimmt werden, das dann verwendet wird, um eine Positionskompensation bei einer chirurgischen oder diagnostischen Vorrichtung (nicht gezeigt in 1) auszuführen.

Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung nimmt die Kamera 110 eine Sequenz von Bildern des Auges bis zum Moment auf, z. B. die zurückliegenden mehreren Vielfachen von 10 Sekunde. Der Computer 120 analysiert dann diese Sequenz von Bewegungen, die in der Vergangenheit aufgetreten sind, und basierend auf der Analyse berechnet er dann eine Vorhersage, welche die wahrscheinlichste Augenposition angibt, die das Auge 100 in der Zukunft basierend auf den vergangenen Positionen annimmt.

Gemäß einem Ausführungsbeispiel basiert die Vorhersage auf einem gewissen Wissen darüber, wie sich das Auge „typischerweise" bewegt. Man kann sagen, daß das Verfahren die gemessenen vergangenen Augenbewegungen in zurückliegenden Momenten mit dem Wissen über typische Augenbewegungen im Allgemeinen vergleicht und basierend auf diesem Vergleich eine Abschätzung durchgeführt wird dahingehend, was die wahrscheinlichste Position des Auges nach der gemessenen Sequenz und basierend auf der gemessenen Sequenz ist. Dies ergibt dann eine Vorhersage einer zukünftigen Augenposition.

Gemäß einem Ausführungsbeispiel der Erfindung wird die Tatsache verwendet, daß die Augenbewegungen kein vollständig zufälliger Prozeß sind. Insbesondere die großen und schnellen Bewegungen folgen bekannterweise bestimmten Charakteristika, die spezifisch für die Augenbewegungen sind. Es kann daher ein Modell der Augenbewegung entwickelt werden und basierend auf der bestimmten Augenbewegungshistorie kann die zukünftige Trajektorie des überwachten Auges vorhergesagt werden.

Gemäß einem Ausführungsbeispiel ist der Vorhersagezeithorizont so ausgerichtet, daß er gleich der gemessenen Latenz des gesamten Systems – einschließlich Meßzeit, Übertragungszeit und Aktuationszeit – ist.

Das allgemeine Diagramm von 2 zeigt, wie ein solches Latenzkompensationssystem gemäß einem Ausführungsbeispiel in ein herkömmliches Augenverfolgungssystem hineinpaßt. Das herkömmliche Augenverfolgungssystem (wie in 1 gezeigt) liefert Positionsdaten, die dann durch das Latenzkompensationssystem verwendet werden, um eine Positionsvorhersage zu berechnen. Diese Vorhersage wird dann an das Diagnose/Chirurgiesystem geliefert und als Feedback für die Positionskompensation verwendet.

Zur Berechnung der Vorhersage gemäß einem Ausführungsbeispiel wird ein „Augenbewegungsmodell" verwendet, das typische Augenbewegungen repräsentiert und das als Basis für die Vorhersage verwendet werden kann. Gemäß einem Ausführungsbeispiel basiert dieses Modell auf der Observation von typischen Augenbewegungen.

Gemäß einem Ausführungsbeispiel gibt es ein Modell (oder eine Wissensbasis), die für eine bestimmte Sequenz von vergangenen Bewegungen die wahrscheinlichste zukünftige Bewegung angibt. Dies kann mittels eines Verfahrens, wie es schematisch in 3 illustriert ist, durchgeführt werden. Die Augenbewegung wird über eine Zeit t gemessen, um die Sequenz 310 von Augenbewegungen zu erhalten, basierend auf welcher eine Vorhersage der Augenposition zur Zeit t + 1 durchgeführt werden soll. In der Wissensbasis 320 sind verschiedene Sequenzen 310' gespeichert, welche typische Augenbewegungen über eine Zeit t + 1 repräsentieren. Sie repräsentieren ein „a priori"-Wissen über typische Augenbewegungen, das im Voraus zusammengestellt wurde, indem eine Vielzahl von Sequenzen 310' gemessen wurde und „typische Sequenzen" bestimmt wurden. Die tatsächlich gemessene Sequenz 310 wird dann in dem Übereinstimmungsprozessor 330 mit all diesen Sequenzen 310', die in der Wissensbasis 320 gespeichert sind, verglichen und basierend auf diesem Vergleich wird diejenige Sequenz 310' bestimmt, die am besten mit der tatsächlich gemessenen Sequenz übereinstimmt, und zwar indem ein Maß berechnet wird, welches die Ähnlichkeit zwischen der tatsächlichen Sequenz und den unterschiedlichen Modellsequenzen 310' angibt. Basierend auf dieser Sequenz 310', welche die beste Repräsentation (das beste „Modell") angibt wird dann die Vorhersage der Position des Auges für den Zeitpunkt t + 1 bestimmt.

Gemäß einem weiteren Ausführungsbeispiel sind in der Wissensbasis 320 nicht tatsächliche Sequenzen von Augenbewegungen gespeichert, sondern vielmehr einige (mathematische) Modelle, welche eine Vorhersage einer zukünftigen Augenposition basierend auf den vergangenen gemessenen Augenpositionen ermöglichen. Solch ein Modell kann beispielsweise ein Vektor sein, der einen FIR-Filter repräsentiert, welcher für die Vorhersage einer zukünftigen Position verwendet werden kann, und jeder solche Vektor liefert dann eine bestimmte Vorhersage basierend auf der observierten Sequenz. Die Vorhersage wird dann für jeden Vektor (oder jedes Modell) evaluiert unter Verwendung einer Kostenfunktion, und der Satz von Modellen zusammen mit ihren entsprechenden Kostenfunktionswerten kann dann als „beobachtetes Augenbewegungsmodell" angesehen werden, da es kontinuierlich hinsichtlich seiner Leistungsfähigkeit überwacht wird.

Gemäß einem Ausführungsbeispiel kann das beobachtete Augenbewegungsmodell selbst sich entwickeln basierend auf einer Kombination von „a priori"-Wissen, das durch ein allgemeines Augenbewegungsmodell geliefert wird und durch die Differenz zwischen der beobachteten Bewegung und der vorhergesagten Bewegung. Die Vorhersagequalität wird kontinuierlich überwacht als die Differenz zwischen dem vorhergesagten Wert für den Moment t + 1 und dem gemessenen Wert in diesem bestimmten Moment. Basierend darauf werden die Modelle upgedatet, indem ihr entsprechendes (globales) Leistungsfähigkeitsmaß upgedatet wird, das durch die überwachte momentane Leistungsfähigkeit (ein Vergleich des vorhergesagten und des tatsächlichen gemessenen Wertes zu einem bestimmten Zeitpunkt) beeinflußt wird. Durch Berechnen eines globalen Leistungsfähigkeitsmaßes basierend auf der momentanen Leistungsfähigkeit und den Leistungsfähigkeiten der individuellen Modelle über die Vergangenheit kann eine gute Balance erzielt werden zwischen der Fähigkeit, sich an Veränderungen anzupassen und bis zu einem gewissen Ausmaß vergangene erfolgreiche Vorhersagen zu berücksichtigen.

Gemäß einem Ausführungsbeispiel wird die Vorhersage unabhängig für die x- und y-Richtung durchgeführt. Somit wird zweimal die gleiche Strategie für die Vorhersage eines eindimensionalen Signals angewendet. Im Folgenden wird nur auf eine der Richtungen (beispielsweise x) Bezug genommen. Der Fachmann wird sofort verstehen, daß für die andere (beispielsweise die y-Koordinate) das Verfahren auf dieselbe Weise angewendet werden kann.

Die Vorhersage kann gemäß einem Ausführungsbeispiel mittels eines adaptiven linearen Modellansatzes ausgeführt werden. Die Hauptidee des Verfahrens besteht darin, einen Satz von linearen Modellen, die FIR (finite impulse response)-Filter ausgedrückt werden, die am besten die Daten einer Anzahl von vergangenen Aufnahmen erklären. Sobald der Modellsatz aufgebaut wurde, kann das Verfahren zum Erhalten der Vorhersage zu einem bestimmten Zeitpunkt wie folgt ablaufen:

  • a) Auswählen des besten Modells gemäß seiner globalen Leistungsfähigkeit
  • b) Ausgabe des vorhergesagten Werts als Ergebnis
  • c) Evaluieren der Vorhersage basierend auf jenem linearen Modell und
  • d) Updaten der globalen Leistungsfähigkeit jedes Modells durch Vergleich der letzten Vorhersage mit der momentanen gemessenen Position

4 zeigt schematisch den Fluß von Informationen gemäß dem vorliegenden Ausführungsbeispiel. Basierend auf der überwachten Augenbewegungshistorie und der Wissensbasis wird ein Augenbewegungsmodell aus den überwachten Augenbewegungsmodellen ausgewählt, welches dasjenige der Modelle in der Datenbank ist, das die beste Gesamtleistungsfähigkeit zum momentanen Zeitpunkt aufweist. Die beobachtete Augenbewegungshistorie und das ausgewählte Modell mit der besten globalen Leistungsfähigkeit werden dann verwendet, um eine Position zum Zeitpunkt t + 1 (= t + Latenzzeit) vorherzusagen. Der tatsächliche Wert bei t + 1 wir dann gemessen und mit dem vorhergesagten Wert verglichen. Basierend darauf ein Update (falls nötig) des überwachten Augenbewegungsmodells (der Modelle und ihrer entsprechenden Leistungsfähigkeit) ausgeführt. Falls die Leistungsfähigkeit eines anderen Modells in der Datenbank sich als besser herausstellt, wird dann dieses Modell als dasjenige Augenmodell für die weitere Vorhersage ausgewählt.

Im Folgenden werden die einzelnen Schritte gemäß einem weiteren Ausführungsbeispiel etwas detaillierter erläutert.

Augenbewegungssequenzen werden repräsentiert jeweils durch FIR-Modelle und jedes FIR-Modell M wird repräsentiert durch einen Vektor von Zahlen M = [M0, M1, ... M5] Die Dimension von 5 wird hier lediglich beispielhaft ausgewählt, andere Dimensionen können ebenso ausgewählt werden.

Die Ausgabe der Modellvorhersage ist einfach die Faltung des Vektors M mit dem Vektor vergangener Pupillenwerte: Pupil(t + x) = m0·Pupil(t) + m1·Pupil(t – 1) + m2·Pupil(t – 2) +.. m5·Pupil(t – 5)

Lineare Modelle wie dieses können, obwohl sie einfach sind, eine sehr große Anzahl von Funktionen modellieren.

Die Leistungsfähigkeit jedes Modells basiert auf der Kostenfunktion, die mit jedem Fehler assoziiert ist, welche gegeben ist durch die Beziehung: Cost = max(min(err^2, UpperBound^2), LowerBound^2) – LowerBound^2 wobei UpperBound = 1.2 und LowerBound = 0.2 dem maximalen und minimalen signifikanten Quadratfehler repräsentieren. Das bedeutet, daß Fehler von weniger als 0.2 Pixel in absoluten Werten ignoriert werden und Fehler von mehr als 1.2 Pixeln auf gleiche Weise betrachtet werden. Die Leistungsfähigkeit wird erhalten als ein exponentieller Durchschnitt durch die Gleichung Performance(t + 1) = Performance(t) + update Factor·Cost(t) wobei t die momentane Zeit bedeutet und update Factor = 0,005 der Parameter ist, der die Adaptierbarkeit des Systems steuert. Ein großer Wert von update Factor veranlaßt das System, schneller das vergangene Verhalten zu „vergessen" und umgekehrt.

Nachfolgend wird die Berechnung der Modelle gemäß einem Ausführungsbeispiel der Erfindung genauer im Detail beschrieben.

Es sollte festgehalten werden, daß gemäß einem Ausführungsbeispiel alle Modelle des Satzes gleichzeitig für jeden Input getestet werden und daß Modellexemplar mit dem besten Fit wird zu jedem Zeitpunkt ausgewählt, um die wahrscheinliche Augenbewegung zu repräsentieren. Somit ist die Rechenzeit direkt proportional zu der Anzahl der Modelle im Satz. Gemäß dem vorliegenden Ausführungsbeispiel wird daher ein Verfahren angestrebt, mit dem eine ausreichend geringe Anzahl von Modellen beliebige Augenbewegungstrajektoren gut erklären kann.

Für diesen Zweck wird dem folgenden Bottom-Up-Ansatz gefolgt:

  • – Zunächst wird eine große Anzahl von Modellen aufgebaut, die eindeutig klar und gut die Trainingsbeispiele erklären können.
  • – Als zweites werden die sehr ähnlich aussehenden Modelle zusammengruppiert und durch ein einzelnes Modell ersetzt, üblicherweise bezeichnet als der Prototyp der Gruppe. Solch eine Aktion fällt unter den Begriff „Clustering" und wird hinreichend in der Literatur behandelt und ist dem Fachmann bekannt. Als Beispiel wird hier Bezug genommen auf:

    a. A. K. Jain, M. N. Murty, and P. J. Flynn, Data clustering: a review, ACM Computing Surveys, 31(3):264-323, 1999

    b. Richard. O. Duda, Pattern Classification, Wiley-Interscience (2nd edition), 2000

    c. T. Kohonen, Self-Organizing Maps, Springer, New York 1997.

Der im folgenden Ausführungsbeispiel verwendete Modellsatz besteht aus sechzehn linearen Modellprototypen der Dimension 6. Dies bedeutet, daß die letzten sechs Werte der Pupillenposition in der Berechnung der zukünftigen vorhergesagten Position Verwendung finden. Um die sechzehn Filterprototypen zu erhalten, kann die folgende Prozedur angewendet werden:

  • 1) Eine Anzahl von 50 Aufnahmen wird verwendet, um eine Sequenz von etwa 70.000 Pupillenpositionen aufzubauen.
  • 2) Durch zufällige Auswahl wird eine Anzahl von 200 virtuellen Sequenzen der Länge 1500 erzeugt.
  • 3) Für jede virtuelle Sequenz wird das optimale LSE (least square error) lineare Modell (der Größe 6) berechnet unter Verwendung eines SVD-basierten Algorithmus. SVD (singular value decomposition) ist eine Standardtechnik für diesen Zweck und dem Fachmann wohl bekannt.
  • 4) Der Satz von 200 linearen Modellen – der große Satz von Modellen – wird in 16 Klassen geclustert unter Verwendung eines Fuzzy C-Means-Algorithmus. Eine detaillierte Beschreibung dieses Algrorithmus, die dem Fachmann wohl bekannt ist, kann beispielsweise gefunden werden in:

    a) J.C. Bezdek, Pattern Recognition with Fuzzy Objective Function Algorithms, Plenum Press, New York 1981.

    b) James C Bezdek, James Keller, Raghu Krisnapuram, and Nikhil R Pal, Fuzzy Models and Algorithms for Pattern Recognition and Image Processing, Kluwer Academic Publishers, 1999

    c) Uri Kroszynski and Jianjun Zhou, Fuzzy Clustering Principles, Methods and Examples, IKS, December 1998
  • 5) Der Prototyp von jedem der 16 Klassen repräsentiert den Satz von linearen Modellen.

Da der SVD-Algorithmus und der Fuzzy C-Means-Algorithmus dem Fachmann wohl bekannt sind und extensiv in der Literatur beschrieben werden, werden sie hier nicht im Detail erläutert.

Das beste Modell für die momentane Vorhersage wird zu jedem Zeitpunkt ausgewählt durch Mbest(t) = argmax(Performance(t)).

Das Mbest(t)-Modell wird dann verwendet wie oben beschrieben zur Berechnung der vorhergesagten Pupillenposition.

Es sollte festgehalten werden, daß Mbest(t) der Index des Modells ist und nicht das Modell selbst (d. h. nicht der Vektor).

Bezüglich der vorhergehenden Beschreibung und den in 4 gezeigten Komponenten kann die folgende Entsprechung festgehalten werden.

Das allgemeine Augenbewegungsmodell wird repräsentiert durch den Satz von 16 Filtermodellen der Größe 6, die durch die folgende Prozedur wie oben beschrieben erhalten werden.

Das überwachte Augenbewegungsmodell wird repräsentiert durch den Vektor von Leistungsfähigkeitswerten, die mit jedem Modell assoziiert sind: Performance(t) = [M1Perf(t), M2Perf(t), .... M16Perf(t)]

Wie erwähnt entwickelt sich der Leistungsfähigkeitsvektor über die Zeit. Die Evolution dieses Vektors über die Zeit wurde bereits beschrieben.

Die überwachte Augenbewegungshistorie ist der Vektor der letzten 6 Positionen des Auges. Motion History = [Pupil(t)Pupil(t – 1)Pupil(t – 2)Pupil(t – 5)]

Das Vorhersagesystem wählt das beste Modell (das Modell mit der besten globalen Leistungsfähigkeit) aus und berechnet die vorhergesagte Position unter Verwendung dieses Modells wie vorher beschrieben.

Der Fachmann wird verstehen, daß die Verfahren, Vorrichtungen und Systeme gemäß den Ausführungsbeispielen der Erfindung wie vorher beschrieben mit einer Konfiguration implementiert werden können, welche eine Standardvideokamera und einen Standardcomputer wie schematisch in 1 illustriert umfaßt. Der Computer kann mit einer Standardsoftware für Video-Capturing versehen sein, und soweit die vorhergehende Beschreibung und die Ansprüche sich auf Module oder Komponenten, welche die Erfindung implementieren, beziehen, versteht der Fachmann sofort, daß sie entweder mittels Hardware oder Software in Verbindung mit der Basiskonfiguration aus 1 implementiert werden können. Basierend auf der vorhergehenden Beschreibung wird der Fachmann in die Lage versetzt, das System aus 1 anzupassen, indem der Computer und seine Komponenten geeignet programmiert werden, um die Funktionen, wie sie in Verbindung mit den Ausführungsbeispielen der vorliegenden Erfindung beschrieben wurden, auszuführen.

Es soll ferner verstanden werden, daß die vorhergehenden Ausführungsbeispiele nur als exemplarische Ausführungsbeispiele beschrieben wurden und daß Modifikationen dieser Ausführungsbeispiele für den Fachmann möglich sind und daher als im Rahmen der Erfindung liegend verstanden werden sollten. So kann beispielsweise ein OCT-Gerät der Erfindung für jede chirurgische oder diagnostische Vorrichtung Verwendung finden. Weiter kann die vorliegende Erfindung neben dem Gebiet der chirurgischen und diagnostischen Geräte angewendet werden in dem Gebiet der Augenverfolgung und auf dem Gebiet der Augenverfolgungsgeräte allgemein.

Ferner kann die Erfindung nicht nur angewendet werden beim Augenverfolgen, sei es videobasiert oder nicht-videobasiert, sondern sie kann ferner für jedes Verfahren oder jede Vorrichtung zur Messung oder Bestimmung der Position eines Auges Verwendung finden, sei es zur Verfolgung der Bewegung des Auges oder zu einem anderen Zweck.


Anspruch[de]
  1. Verfahren zum Verbessern der Leistungsfähigkeit eines Augenpositionsmeßsystems, wobei das Verfahren aufweist:

    basierend auf einer Messung von vergangenen Augenpositionen, Berechnen einer zukünftigen Augenposition;

    Verwendung der berechneten Vorhersage einer zukünftigen Augenposition zum Reduzieren des Latenzeffekts des Augenpositionsmeßsystems.
  2. Verfahren nach Anspruch 1, wobei das Positionsmeßsystem ein Augenverfolgungssystem ist und das Vorhersageintervall der Verarbeitungszeit entspricht, die das Augenverfolgungssystem benötigt, um die Position des Auges zu ermitteln.
  3. Verfahren nach Anspruch 1 oder 2, welches ferner aufweist:

    Verwenden der Vorhersage einer zukünftigen Augenposition in Verbindung mit einem System für Augenchirurgie und/oder Diagnose zum Kompensieren einer Augenbewegung.
  4. Verfahren nach Anspruch 3, wobei das Vorhersageintervall der Verarbeitungszeit entspricht, die das Augenverfolgungssystem benötigt, um die Position des Auges zu bestimmen, plus der Kompensationszeit einer ophthalmologischen Vorrichtung, welche Chirurgie und/oder Diagnose ausführt.
  5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Vorhersage für unterschiedliche Vorhersageintervalle generiert wird, welche Untervielfache der Augenverfolgungsperiode sind.
  6. Verfahren nach einem der vorhergehenden Ansprüche, welches ferner aufweist:

    Vergleichen der vorhergesagten Position mit einer später bestimmten tatsächlichen Position, um die Qualität der Vorhersage zu überwachen.
  7. Verfahren nach Anspruch 6, welches ferner aufweist: Anpassen der Vorhersageberechnung, welche für die Vorhersage verwendet wird, basierend auf dem Überwachungsergebnis.
  8. Verfahren zum Vorhersagen der zukünftigen Bewegung einer Augenposition, wobei das Verfahren aufweist:

    Vergleichen einer Sequenz von Augenpositionen mit Daten, welche typische Muster von Augenbewegungen repräsentieren;

    basierend auf dem Vergleich, Berechnen einer Vorhersage einer zukünftigen Augenposition.
  9. Verfahren nach Anspruch 8, welches ferner aufweist:

    Bereitstellen einer Datenbasis, welche eine Vielzahl von Datensätzen enthält, die Sequenzen von typischen Augenbewegungen repräsentieren; und

    basierend auf einer vorhergehenden Augenbewegung, welche Augenpositionen ab einem bestimmten Zeitpunkt der Vergangenheit bis zur Gegenwart umfaßt, Finden desjenigen Datensatzes unter der Vielzahl von Datensätzen, welche die zukünftige Augenbewegung am besten vorhersagt.
  10. Verfahren nach Anspruch 8 oder 9, wobei die Datensätze FIR-Filter sind.
  11. Verfahren nach Anspruch 8, 9 oder 10, welches ferner aufweist:

    Berechnen einer Kostenfunktion, um die Qualität der Vorhersage basierend auf dem vorhergesagten Wert und dem tatsächlich gemessenen Wert zu evaluieren,

    Anpassen der Selektion des Datensatzes basierend auf der Kostenfunktion.
  12. Verfahren nach einem der Ansprüche 9 bis 11, welches ferner aufweist:

    Berechnen eines Leistungsfähigkeitsmaßes, welches für einen bestimmten Datensatz dessen Vorhersageleistungsfähigkeit für die Zeit angibt;

    Auswählen des für die Vorhersage verwendeten Datensatzes basierend auf dem Leistungsfähigkeitsmaß; und

    Updaten des Leistungsfähigkeitsmaßes basierend auf einem Vergleich zwischen dem vorhergesagten Wert und der tatsächlich gemessenen Position.
  13. Augenpositionsmeßsystem, welches aufweist:

    ein Modul zum Messen vergangener Augenpositionen; und

    ein Modul zum Berechnen einer Vorhersage einer zukünftigen Augenposition, wobei die berechnete Vorhersage einer zukünftigen Augenposition verwendet wird zur Reduktion des Latenzeffekts des Augenpositionsmeßsystems.
  14. System nach Anspruch 13, wobei das Vorhersageintervall der Verarbeitungszeit entspricht, die das Augenverfolgungssystem benötigt, um die Position des Auges zu bestimmen.
  15. Vorrichtung für ophthalmologische Chirurgie und/oder Diagnose, um eine Augenbewegung zu kompensieren, wobei die Vorrichtung aufweist:

    ein Augenverfolgungssystem nach Anspruch 13 oder 14.
  16. System nach Anspruch 13, wobei das Vorhersageintervall der Verarbeitungszeit entspricht, die das Augenverfolgungssystem benötigt, um die Position des Auges zu bestimmen, plus der Kompensationszeit einer ophthalmologischen Vorrichtung, welche Chirurgie und/oder Diagnose durchführt.
  17. System nach einem der Ansprüche 13 bis 16, wobei die Vorhersage für unterschiedliche Vorhersageintervalle erzeugt wird, welche Untervielfache der Augenverfolgungsperiode sind.
  18. System nach einem der Ansprüche 13 bis 17, welches ferner aufweist:

    ein Modul zum Vergleichen einer vorhergesagten Position mit einer später bestimmten tatsächlichen Position, um die Qualität der Vorhersage zu überwachen.
  19. System nach Anspruch 18, welches ferner aufweist:

    Anpassen einer Vorhersageberechnung, die für die Vorhersage verwendet wird, basierend auf dem Überwachungsergebnis.
  20. System zum Vorhersagen einer zukünftigen Bewegung einer Augenposition, welches aufweist:

    ein Modul zum Vergleichen einer Sequenz von Augenpositionen mit Daten, welche typische Muster von Augenbewegungen repräsentieren;

    ein Modul, um basierend auf dem Vergleich eine Vorhersage für eine zukünftige Augenposition zu berechnen.
  21. System nach Anspruch 20, welches ferner aufweist:

    ein Datenbankmodul, welches eine Vielzahl von Datensätzen enthält, die Sequenzen von typischen Augenbewegungen repräsentieren; und

    ein Modul, um basierend auf einer vergangenen Augenbewegung, welche Augenpositionen von einer bestimmten Zeit in der Vergangenheit bis zur Gegenwart umfaßt, den Datensatz unter der Vielzahl von Datensätzen zu finden, welche die zukünftige Augenbewegung am besten vorhersagt.
  22. System nach Anspruch 19, 20 oder 21, wobei die Datensätze FIR-Filter sind.
  23. System nach Anspruch 19, 20, 21 oder 22, welches ferner aufweist:

    ein Modul zum Berechnen einer Kostenfunktion, um die Qualität der Vorhersage basierend auf dem vorhergesagten Wert und dem tatsächlich gemessenen Wert zu evaluieren,

    ein Modul zum Anpassen der Auswahl des Datensatzes basierend auf der Kostenfunktion.
  24. System nach einem der Ansprüche 20 bis 23,, welches ferner aufweist:

    ein Modul zum Berechnen eines Leistungsfähigkeitsmaßes, welches für einen bestimmten Datensatz dessen Vorhersageleistungsfähigkeit über die Zeit angibt;

    ein Modul zum Auswählen des Datensatzes, der für die Vorhersage verwendet wird, basierend auf dem Leistungsfähigkeitsmaß; und

    ein Modul zum Updaten des Leistungsfähigkeitsmaßes basierend auf einem Vergleich zwischen dem vorhergesagten Wert und der tatsächlich gemessenen Position.
  25. Computerprogramm, welches aufweist:

    Computerprogrammcode, welcher wenn auf einem Computer ausgeführt diesen in die Lage versetzt, ein Verfahren gemäß einem der Ansprüche 1 bis 12 auszuführen.
Es folgen 3 Blatt Zeichnungen






IPC
A Täglicher Lebensbedarf
B Arbeitsverfahren; Transportieren
C Chemie; Hüttenwesen
D Textilien; Papier
E Bauwesen; Erdbohren; Bergbau
F Maschinenbau; Beleuchtung; Heizung; Waffen; Sprengen
G Physik
H Elektrotechnik

Anmelder
Datum

Patentrecherche

Patent Zeichnungen (PDF)

Copyright © 2008 Patent-De Alle Rechte vorbehalten. eMail: info@patent-de.com