PatentDe  


Dokumentenidentifikation DE60125397T2 18.10.2007
EP-Veröffentlichungsnummer 0001330816
Titel SPRACHUNABHÄNGIGE STIMMBASIERTE BENUTZEROBERFLÄCHE
Anmelder Intel Corp., Santa Clara, Calif., US
Erfinder ZHOU, Guojun, Portland, OR 97229, US
Vertreter Hauck Patent- und Rechtsanwälte, 80339 München
DE-Aktenzeichen 60125397
Vertragsstaaten AT, BE, CH, CY, DE, DK, ES, FI, FR, GB, GR, IE, IT, LI, LU, MC, NL, PT, SE, TR
Sprache des Dokument EN
EP-Anmeldetag 03.10.2001
EP-Aktenzeichen 019794817
WO-Anmeldetag 03.10.2001
PCT-Aktenzeichen PCT/US01/31162
WO-Veröffentlichungsnummer 2002031814
WO-Veröffentlichungsdatum 18.04.2002
EP-Offenlegungsdatum 30.07.2003
EP date of grant 20.12.2006
Veröffentlichungstag im Patentblatt 18.10.2007
IPC-Hauptklasse G10L 15/26(2006.01)A, F, I, 20051017, B, H, EP
IPC-Nebenklasse G06F 17/30(2006.01)A, L, I, 20051017, B, H, EP   G06F 17/28(2006.01)A, L, I, 20051017, B, H, EP   

Beschreibung[de]
STAND DER TECHNIK 1. GEBIET DER TECHNIK

Die vorliegende Erfindung betrifft allgemein Web-Browser und Suchmaschinen und im Besonderen Benutzerschnittstellen für Web-Browser unter Verwendung von gesprochener Sprache in verschiedenen Sprachen.

2. BESCHREIBUNG DES STANDS DER TECHNIK

Zurzeit stellt das Internet mehr Informationen an Benutzer zur Verfügung als jede andere Quelle. Häufig ist es jedoch schwer, die Informationen zu finden, die man sucht. Zu diesem Zweck wurden Suchmaschinen entwickelt, um die Lokalisierung der gewünschten Informationen zu unterstützen. Zur Verwendung einer Suchmaschine gibt ein Benutzer für gewöhnlich einen Suchbegriff über eine Tastatur ein oder wählt eine Suchkategorie unter Verwendung einer Maus aus. Die Suchmaschine sucht danach im Internet oder einem Intranet auf der Basis des Suchbegriffs nach relevanten Informationen. Diese Einschränkung der Benutzerschnittstelle begrenzt stark die Anzahl der möglichen Benutzer, die einen Web-Browser für die Lokalisierung von Informationen im Internet oder einem Intranet einsetzen, da Benutzer, denen es schwer fällt, den Suchbegriff in englischer Sprache einzugeben (zum Beispiel Personen, die nur Chinesisch oder Japanisch sprechen), derartige Suchmaschinen wahrscheinlich nicht verwenden.

Wenn eine Suchmaschine oder ein Internetportal das Anzeigen der Ergebnisse in mehreren Sprachen unterstützt, so zeigt die Suchmaschine oder das Portal für gewöhnlich Webseiten, die vorher in einer bestimmten Sprache erstellt worden sind, erst nachdem der Benutzer die Auswahl trifft, und zwar unter Einsatz einer Maus, die gewünschte Sprache zu Ausgabezwecken an.

In letzter Zeit haben einige Internetportale Spracheingabedienste implementiert, wobei ein Benutzer unter Verwendung einer Spracherkennungsanwendung und eines Mikrofons, das mit dem Computersystem des Benutzers gekoppelt ist, Informationen zu bestimmten Themen nachfragen kann, wie zum Beispiel zum Wetter, Sport, Aktienkursen, etc. In diesen Fällen werden die Sprachdaten in einen vorbestimmten Befehl umgesetzt, den das Portal erkennt, um auszuwählen, welche Webseite angezeigt werden soll. Die englische Sprache ist für gewöhnlich jedoch die einzige unterstützte Sprache, und die gesprochene Sprache ermöglicht keine Dialoge. Keine der bekannten Suchmaschinen unterstützt direkt Sprachsuchanfragen.

Das europäische Patent EP 1 033 702 A2 beschreibt ein System zum Verstehen von Sprache, für den Empfang einer gesprochenen Anforderung von einem Benutzer und zur Verarbeitung der Anforderung in Verbindung mit einer Informationsbank bzw. Wissensbasis von Programminformationen zum automatischen Auswählen eines Fernsehprogramms. Das Spracherkennungssystem weist eine Extrahierungseinrichtung für Informationen für den Empfang von Informationen eines elektronischen Programmführers (EPG als englische Abkürzung von Electronic Programming Guide) und zur Verarbeitung der EPG-Informationen zur Erzeugung einer Programmdatenbank auf. Das System weist ferner eine Spracherkennungseinrichtung auf, die dazu dient, die gesprochene Anforderung zu empfangen und die gesprochene Anforderung in einen Textstrom mit einer Mehrzahl von Wärtern umzusetzen. Ein Prozessor für natürliche Sprache ist bereitgestellt für den Empfang des Textstroms und die Verarbeitung der Wörter zum Auflösen eines semantischen Inhalts der gesprochenen Anforderung. Der Prozessor für natürliche Sprache platziert die Bedeutung der Wörter in einem Aufgabenrahmen mit einer Mehrzahl von Schlüsselbegriffschlitzen. Ein Dialogmanager analysiert den Aufgabenrahmen, um zu bestimmen, ob eine ausreichende Anzahl von Schlüsselwörterschlitzen bzw. Schlüsselbegriffschlitzen gefüllt worden ist, und er fordert den Benutzer zur Eingabe zusätzlicher Informationen zum Füllen leerer Schlitze auf. Der Dialogmanager. sucht in der Programmdatenbank unter Verwendung von Schlüsselwörtern, die in dem Aufgabenrahmen zur Auswahl eines Programms platziert werden, und wobei er ein Signal erzeugt, um einen dem Programm zugeordneten Fernsehkanal bzw. Fernsehsender auszuwählen.

Das europäische Patent EP 1 014 277 A1 beschreibt ein Verfahren und Systeme zum Identifizieren der Sprache(n) eines Textes oder einer Kommunikation auf der Basis gesprochener Sprache, indem ein willkürliches Segment in der Kommunikation mit einem oder mehreren Sprachsegmenten aus mindestens einer Sprachdatenbank verglichen wird. Nachdem die Sprachidentifikation der Kommunikation erreicht worden ist, werden einem Benutzer Optionen für die folgende Verarbeitung und/oder den Abruf der Kommunikation bereitgestellt. Zu den Benutzeroptionen zählen die Umsetzung in eine oder mehrere spezifizierte sekundäre Sprachen und/oder die Medienumsetzung (z.B. Text-zu-Sprache oder Sprache-zu-Text). Die umgesetzte Kommunikation kann über verfügbare Medienabrufvorrichtungen beurteilt werden (z.B. ein Telefon, ein Faxgerät, einen Personalcomputer).

ZUSAMMENFASSUNG DER ERFINDUNG

Vorgesehen ist gemäß einem ersten Aspekt der vorliegenden Erfindung ein Verfahren gemäß dem gegenständlichen Anspruch 1.

Vorgesehen ist gemäß einem zweiten Aspekt der vorliegenden Erfindung ein System gemäß dem gegenständlichen Anspruch 6.

Weitere Merkmale der Erfindung sind in den entsprechenden Unteransprüchen der Ansprüche 1 und 6 beschrieben.

KURZE BESCHREIBUNG DER ZEICHNUNGEN

Die Merkmale und Vorteile der vorliegenden Erfindung werden aus der folgenden genauen Beschreibung der vorliegenden Erfindung deutlich. In den Zeichnungen zeigen:

1 ein Diagramm eines sprachunabhängigen, auf gesprochener Sprache basierenden Suchsystems gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;

2 ein Flussdiagramm des sprachunabhängigen, auf gesprochener Sprache basierenden Suchens gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und

3 ein Diagramm eines beispielhaften Verarbeitungssystems, das als ein sprachunabhängiges, auf gesprochener Sprache basierendes Suchsystems gemäß einem Ausführungsbeispiel der vorliegenden Erfindung betrieben werden kann.

GENAUE BESCHREIBUNG

Bei einem Ausführungsbeispiel der vorliegenden Erfindung handelt es sich um ein Verfahren und eine Vorrichtung für ein sprachunabhängiges, auf gesprochener Sprache basierendes Internet- oder Intranet-Suchsystem. Die vorliegende Erfindung kann eingesetzt werden, um die aktuellen Suchmöglichkeiten im Internet oder einem Intranet dadurch zu erweitern, dass es Benutzern gestattet wird, in ihren eigenen gesprochenen Muttersprachen nach gewünschten Informationen zu suchen. In einem Ausführungsbeispiel kann das Suchsystem Spracheingaben von einem Benutzer akzeptieren, die in Dialogform gesprochen werden, wobei automatisch die von dem Benutzer gesprochene Sprache identifiziert wird, wobei die Sprache in den Spracheingabedaten erkannt wird, und wobei die gewünschte Suche unter Verwendung der Sprache als Eingabedaten für eine Suchanfrage an eine Suchmaschine ausgeführt wird. Um das sprachunabhängige, auf gesprochener Sprache basierende Suchsystem noch leistungsfähiger zu machen, können verschiedene Merkmale in das System integriert werden. Die Verarbeitung natürlicher Sprache (NLP als englische Abkürzung von Natural Language Processing) kann angewandt werden, um die Suchbegriffe aus der natürlich gesprochenen Anfrage bzw. Anforderung zu extrahieren, so dass Benutzer die Suchbegriffe nicht exakt sprechen müssen (wodurch die Dialogsprache unterstützt wird). Die maschinelle Übersetzung kann eingesetzt werden, um Suchbegriffe sowie Suchergebnisse in verschiedene Sprachen zu übersetzen, so dass der Suchraum deutlich erweitert werden kann. Techniken zur automatischen Zusammenfassung können für die Zusammenfassung der Suchergebnisse eingesetzt werden, wenn die Ergebnisse nicht gut organisiert sind oder nicht so präsentiert werden, wie dies seitens des Benutzer bevorzugt wird. Die Erzeugung natürlicher Sprache und Text-zu-Sprache-Techniken (TTS) können eingesetzt werden, um die Suchergebnisse dem Benutzer in dessen gesprochenen Muttersprache mündlich zu übermitteln. Sobald das universelle Sprachsuchkonzept der vorliegenden Erfindung in eine Internet- oder Intranet-Suchmaschine integriert ist, wird es zu einem leistungsfähigen Hilfsmittel für Menschen, die verschiedene Sprachen sprechen, Informationen, die im Internet oder einem Intranet zur Verfügung stehen, so bequem wie möglich zu nutzen. Dieses System kann eine stärkere Nutzung des Internet seitens Personen bewirken, die der englischen Sprache nicht mächtig sind, indem Suchmaschinen oder andere Webseiten einfacher eingesetzt werden können.

Verweise in der vorliegenden Patentschrift auf „ein Ausführungsbeispiel" der vorliegenden Erfindung bedeuten, dass ein in Verbindung mit dem Ausführungsbeispiel beschriebenes Merkmal, eine entsprechende Struktur oder Eigenschaft in mindestens einem Ausführungsbeispiel der vorliegenden Erfindung enthalten ist. Somit beziehen sich die Nennungen des Ausdrucks „in einem Ausführungsbeispiel", die an verschiedenen Stellen in der Patentschrift auftauchen, nicht unbedingt alle auf das gleiche Ausführungsbeispiel.

Die Ausführungsbeispiele der vorliegenden Erfindung stellen zumindest einige Merkmale bereit. Die Spracherkennung ermöglicht Benutzern die Interaktion mit Internet-Suchmaschinen mittels des natürlichsten und effektivsten Mediums, der eigenen gesprochenen Sprache der Benutzer. Dies kann in verschiedenen asiatischen Ländern besonders nützlich sein, in denen Benutzer eventuell nicht in der Lage sind, ihre Muttersprachen schnell zu tippen, bedingt durch die Beschaffenheit dieser geschriebenen Sprachen. Die automatische Sprachidentifikation ermöglicht es, dass Benutzer, die verschiedene Sprachen sprechen, im Internet oder in einem Intranet unter Verwendung eines einzelnen Systems mit ihrer eigenen gesprochenen Sprache suchen, ohne dem System spezifisch mitzuteilen, welche Sprache sie sprechen. Dieses Merkmal kann zu einem erheblichen Zuwachs der Benutzer im Internet führen, die Suchmaschinen benutzen, aber auch im World Wide Web (WWW) im Allgemeinen. Die Verarbeitung der natürlichen Sprache kann eingesetzt werden, um es Benutzern zu ermöglichen, eigene Suchbegriffe in einer Suchanfrage auf natürliche Weise in Dialogform zu sprechen. Wenn der Benutzer zum Beispiel „Könnten Sie bitte nach Artikeln über den Sezessionskrieg suchen?" sagt, kann die Funktion der natürlichen Sprachverarbeitung den ganzen Satz in den Suchbegriff „Sezessionskrieg" umwandeln, ohne dass es erforderlich ist, dass der Benutzer genau „Sezessionskrieg" sagt.

Der kann die maschinelle Übersetzung von Sprachen eingesetzt werden, um der Suchmaschine die sprachübergreifende Suche zu ermöglichen. Wenn ein Benutzer zum Beispiel den Suchbegriff auf Chinesisch spricht, kann die maschinelle Übersetzung den Suchbegriff in andere Sprachen (z.B. Englisch, Spanisch, Französisch, Deutsch, etc.) übersetzen und eine deutlich umfassendere Suche im Internet vornehmen. Wenn ein für die Suchanfrage relevantes Ergebnis gefunden wird, die Webseiten aber in anderen Sprachen als Chinesisch verfasst sind, so übersetzt die vorliegende Erfindung die Suchergebnisse zurück ins Chinesische (die Sprache der ursprünglichen gesprochenen Suchanfrage). Eine Technik der automatischen Zusammenfassung kann eingesetzt werden, um die Zusammenfassung der Suchergebnisse zu unterstützen, wenn die Ergebnisse zum Beispiel in einem langen Dokument verstreut sind, oder wenn es anderweitig schwierig ist, die Informationen zu bestimmen, die durch die Suchmaschine als relevant für den Suchbegriff bestimmt worden sind. Wenn die Suchergebnisse in einem Format präsentiert werden, das von dem Benutzer nicht bevorzugt wird, so kann die vorliegende Erfindung die Ergebnisse zusammenfassen und diese dem Benutzer in anderer Form präsentieren. Wenn die Ergebnisse zum Beispiel in einer farbigen Abbildung präsentiert werden und der Benutzer Schwierigkeiten dabei hat, bestimmte Farben zu unterscheiden, so kann die vorliegende Erfindung den Inhalt der Abbildung zusammenfassen und die Informationen dem Benutzer in Textform anzeigen.

Die Erzeugung natürlicher Sprache unterstützt die Organisation der Sucherergebnisse und die Erzeugung einer Antwort, die zu der natürlichen gesprochenen Sprache passt, welche die gewünschte Ausgabesprache darstellt. Das heißt, die Ergebnisse können sprachspezifisch modifiziert werden. Die Text-zu-Sprache-Funktionalität (TTS) kann eingesetzt werden, um die Suchergebnisse akustisch wiederzugeben, wenn der Benutzer diesen Ausgabemodus auswählt. Zum Beispiel können die Augen des Benutzers beschäftigt sein oder der Benutzer kann eine mündliche Antwort auf die gesprochene Suchanfrage bevorzugen.

Die Abbildung aus 1 zeigt die Architektur des sprachunabhängigen, auf gesprochener Sprache basierenden Suchsystems. Ein Benutzer (nicht abgebildet) interagiert mit den Funktionen der Eingabe 10 und der Ausgabe 12. In Bezug auf die Eingabefunktionen unterstützt das System zumindest die Funktionalität der traditionellen Tastatur und Maus 14 sowie die Funktion der Spracheingabe 16. Die Spracheingabe kann auf allgemein bekannte Art und Weise unterstützt werden, indem Sprache oder andere akustische Töne von einem mit dem System gekoppelten Mikrofon akzeptiert werden. Die empfangenen Audiodaten können digitalisiert und in ein Format umgewandelt werden, das ein Spracherkennungsmodul oder ein Sprachidentifikationsmodul akzeptiert. In Bezug auf die Ausgabefunktionalität kann das System die Suchergebnisse als Text oder Bilder auf einer Anzeige 18 auf herkömmliche Art und Weise wiedergeben. Alternativ kann das System die Suchergebnisse akustisch unter Verwendung einer allgemein bekannten Text-zu-Sprache-Funktion 20 wiedergeben. Die Verarbeitung jeder der identifizierten Eingabe- und Ausgabefunktionalitäten ist dem Fachmann auf dem Gebiet bekannt und wird hierin nicht näher beschrieben. In anderen Ausführungsbeispielen kann auch eine andere Eingabe- und/oder Ausgabeverarbeitung eingesetzt werden, ohne den Umfang der vorliegenden Erfindung dabei einzuschränken.

Wenn sich ein Benutzer dafür entscheidet, seine oder ihre Sprache für die Ausführung einer Suche einzusetzen, so spricht der Benutzer in das mit dem System gekoppelte Mikrofon und fordert das System auf, zu suchen, was den Benutzer interessiert. Der Benutzer kann zum Beispiel „Hhhmm, suche mir Informationen darüber, wer, eh, den NFL Super Bowl im Jahr 2000 gewonnen hat" sagen. Ferner kann der Benutzer dies in jeder von dem System unterstützten Sprache sagen. Zum Beispiel kann das System so implementiert sein, dass es als Eingabesprachen Chinesisch, Japanisch, Englisch, Französisch, Spanisch und Russisch unterstützt. In verschiedenen Ausführungsbeispielen können anderen Sprachgruppierungen unterstützt werden.

Nachdem die Spracheingabedaten erfasst und digitalisiert worden sind, können die Spracheingabedaten zu dem Sprachidentifikationsmodu 22 in der sprachunabhängigen Benutzerschnittstelle 24 weitergeleitet werden, um zu bestimmen, welche Sprache der Benutzer spricht. Das Sprachidentifikationsmodul 22 extrahiert Merkmale aus den Spracheingabedaten, um zu unterscheiden, welche Sprache gesprochen wird, und das Modul gibt einen Bezeichner der verwendeten Sprache aus. Im Fach sind verschiedene Algorithmen zum automatischen Identifizieren von Sprachen aus Sprachdaten bekannt. Allgemein können ein Hidden-Markov-Modell oder neuronale Netze in dem Identifikationsalgorithmus eingesetzt werden. In einem Ausführungsbeispiel der vorliegenden Erfindung kann ein gesprochenes Sprachidentifikationssystem eingesetzt werden, wie dieses etwa offenbart wird in „Robust Spoken Language Identification Using Large Vocabulary Speech Recognition" von J.L. Hieronymus und S. Kadambe, 1997 IEEE Internal Conference on Acoustics, Speech, and Signal Processing. In einem anderen Ausführungsbeispiel kann ein gesprochenes Sprachidentifikationssignal verwendet werden, wie es etwa offenbart wird in „An Unsupervised Approach to Language Identification" von F. Pellegrino und R. Andre-Obrecht, 1999 IEEE International Conference on Acoustics, Speech and Signal Processing. In anderen Ausführungsbeispielen können auch andere automatische Sprachidentifikationssysteme eingesetzt werden, die heute bereits bekannt sind oder die sich noch in bzw. vor der Entwicklung befinden. Unabhängig von dem verwendeten Sprachidentifikationssystem können Entwickler des Systems die Modelle in dem Sprachidentifikationssystem trainieren, so dass sie eine ausgesuchte Gruppe von Sprachen erkennen, die von dem Suchsystem unterstützt werden.

Zumindest teilweise auf der Basis der detektierten Sprache können die Spracheingabedaten zu dem Spracherkennungsmodul 23 übermittelt werden, für eine Umsetzung in ein Textformat. Teile dieser Verarbeitung können in bestimmten Ausführungsbeispielen parallel zu dem Sprachidentifikationsmodul 22 ausgeführt werden. Das Spracherkennungsmodul 23 akzeptiert die umzusetzenden Sprachdaten und den Sprachbezeichner, erkennt, welche Worte gesprochen worden sind und übersetzt die Informationen in Text. Somit stellt das Spracherkennungsmodul 23 eine allgemein bekannte Sprache-zu-Text-Funktionalität bereit. Zu diesem Zweck kann in dem vorliegenden System jede der verschiedenen im Handel erhältlichen Sprache-zu-Text-Softwareanwendungen eingesetzt werden. Zum Beispiel ermöglicht es ViaVoiceTM, erhältlich von der International Business Machines (IBM) Corporation, Benutzern, direkt in verschiedene Anwendungsprogramme zu diktieren. Verschiedene Versionen von ViaVoiceTM unterstützen mehrere Sprachen (wie zum Beispiel Englisch, Chinesisch, Französisch und Italienisch).

In vielen Fällen kann es vorkommen, dass der durch das Spracherkennungsmodul bestimmte Text grammatikalisch fehlerhaft ist. Da es sich bei der Sprache um eine spontane Sprache des Benutzers handeln kann, kann der resultierende Text Füllwörter, Sprachidiome, Wiederholungen, etc. aufweisen. Das Verarbeitungsmodul 26 für natürliche Sprache kann eingesetzt werden, um Schlüsselwörter bzw. Schlüsselbegriffe aus dem Text zu extrahieren. In dem vorstehenden Beispiel können die Wörter und Töne „Hhhmm, suche mir Informationen darüber, wer, eh, den im Jahr gewonnen hat" verworfen werden, und wobei die Wörter „NFL Super Bowl 2000" als Schlüsselwörter identifiziert werden können. Im Fach sind verschiedene Algorithmen und Systeme zur Implementierung von Parsern bzw. Analysealgorithmen zum Extrahieren ausgewählter Sprachbegriffe aus der gesprochenen Sprache bekannt. In einem Ausführungsbeispiel der vorliegenden Erfindung kann ein Parser eingesetzt werden, wie dieser offenbart wird in „Extracting Information in Spontaneous Speech" von Wayne Ward, 1994 Proceedings of the International Conference on Spoken Language Processing (ICSLP). In einem anderen Ausführungsbeispiel kann ein Analysealgorithmus eingesetzt werden, wie er offenbart wird in „TINA: A Natural Language System for Spoken Language Applications" von S. Seneff, Computational Linguistics, März 1992. In anderen Ausführungsbeispielen können auch andere Verarbeitungssysteme für natürliche Sprache eingesetzt werden, die bereits bekannt sind oder sich noch in bzw. vor der Entwicklung befinden.

Nachdem die Schlüsselwörter aus dem Text extrahiert worden sind, können die Schlüsselwörter durch ein Maschinenübersetzungsmodul 28 in eine Mehrzahl unterstützter Sprachen übersetzt werden. Durch die Übersetzung der Schlüsselwörter in mehrere Sprachen und den Einsatz der Schlüsselwörter als Suchbegriffe, kann die Suche in Dokumenten in verschiedenen Sprachen durchgeführt werden, wodurch der verwendete Suchraum erheblich vergrößert bzw. erweitert wird. Verschiedene Algorithmen und Systeme zur Implementierung der maschinellen Übersetzung von Sprachen sind im Fach bekannt. In einem Ausführungsbeispiel der vorliegenden Erfindung kann eine maschinelle Übersetzung gemäß der Offenbarung in „The KANT Machine Translation System: From R&D to Initial Deployment" von E. Nyberg, T. Mitamura und J. Carbonell, Präsentation im Rahmen des 1997 LISA Workshop on Integrating Advanced Translation Technology, eingesetzt werden. In anderen Ausführungsbeispielen können maschinelle Übersetzungssysteme eingesetzt werden, die bereits heute bekannt sind oder die noch entwickelt werden.

Die Schlüsselwörter können automatisch als Suchbegriffe in verschiedenen Sprachen 30 in eine Suchmaschine 32 eingegeben werden. Es kann jede einzelne oder es können mehrere der verschiedenen bekannten Suchmaschinen eingesetzt werden (z.B. Yahoo, Excite, AltaVista, Google, Northern Lights und dergleichen). Die Suchmaschine sucht im Internet oder in einem speziellen Intranet und gibt die Suchergebnisse in verschiedenen Sprachen 34 an die sprachunabhängige Benutzerschnittstelle 24 zurück. Abhängig von den Suchergebnissen können die Ergebnisse in einer einzelnen Sprache oder in mehreren Sprachen gegeben sein. Wenn die Suchergebnisse in mehreren Sprachen vorliegen, kann das Maschinenübersetzungsmodul 28 eingesetzt werden, um die Suchergebnisse in dem von dem Benutzer verwendete Sprache zu übersetzen. Wenn die Suchergebnisse in einer einzigen Sprache vorliegen, bei der es sich nicht um die Sprache des Benutzers handelt, so können die Ergebnisse in die Sprache des Benutzers übersetzt werden.

Das automatische Zusammenfassungsmodul 36 kann eingesetzt werden, um die Suchergebnisse bei Bedarf zusammenzufassen. In einem Ausführungsbeispiel können für die Implementierung der automatischen Zusammenfassung die Lehren aus „A Unified Structure-Based Framework for Indexing and Gisting of Meetings" von T. Kristjansson, T. Huang, P. Ramesh und B. Juang, 1999 IEEE International Conference on Multimedia Computing and Systems, eingesetzt werden. In anderen Ausführungsbeispielen können andere Techniken für die Zusammenfassung von Informationen eingesetzt werden, die bereits heute bekannt sind oder sich noch in der Entwicklung befinden bzw. noch entwickelt werden.

Das Modul 36 zur Erzeugung natürlicher Sprache kann eingesetzt werden, um die zusammengefassten Suchergebnisse in der Sprache des Benutzers zu verwenden und natürlich gesprochene Formen der Ergebnisse zu erzeugen. Die Ergebnisse können modifiziert werden, um lesbaren Sätzen unter Verwendung eines ausgesuchten prosodischen Musters zu entsprechen, so dass die Ergebnisse, wenn sie an den Benutzer wiedergegeben werden, natürlich klingen und grammatikalisch korrekt sind. In einem Ausführungsbeispiel der vorliegenden Erfindung kann ein System zur Erzeugung natürlicher Sprache eingesetzt werden, wie es offenbart wird in „Multilingual Language Generation Across Multiple Domains" von J. Glass, J. Polifroni und S. Seneff, 1994 Proceeding of International Conference on Spoken Language Processing (ICSLP), wobei aber auch andere Verarbeitungstechniken zur Erzeugung natürlicher Sprache eingesetzt werden können, die bereits heute bekannt sind oder noch entwickelt werden.

Die Ausgabe des Moduls zur Erzeugung natürlicher Sprache kann zu dem Text-zu-Sprache-Modul 20 geleitet werden, um den Text in ein Audioformat umzuwandeln und um die Audiodaten für den Benutzer wiederzugeben. Alternativ kann der Text auf einer Anzeige 18 auf herkömmliche Weise angezeigt werden. Verschiedene Text-zu-Sprache-Implementierungen sind im Fach bekannt. In einem Ausführungsbeispiel kann die ViaVoiceTM Text-zu-Sprache-Technologie (TTS) eingesetzt werden, die von der IBM Corporation erhältlich ist. Andere Implementierungen können ebenfalls eingesetzt werden, wie zum Beispiel die mehrsprachigen Text-zu-Sprache-Systeme, die von Lucent Technologies Bell Laboratories erhältlich sind. In einem anderen Ausführungsbeispiel, bei dem die Suchergebnisse für den Benutzer akustisch wiedergegeben werden, kann die visuelle TTS auch eingesetzt werden, um ein Bild eines Gesichts (z.B. einen sprechenden Kopf) anzuzeigen, animiert in Synchronisierung mit der synthetisierten Sprache. Realistische Mundbewegungen des sprechenden Kopfes, die mit den Sprachgeräuschen übereinstimmen, vermitteln nicht nur das Gefühl, dass das Bild spricht, sie können auch die Verständlichkeit der wiedergegebenen Sprache erhöhen. Animierte Agenten, wie etwa der sprechende Kopf, können die Bereitschaft des Benutzers erhöhen, zu warten, während die Suche durchgeführt wird.

Die vorstehende Beschreibung konzentrierte sich zwar auf Suchmaschinen als eine Anwendung für die sprachunabhängige Eingabe auf der Basis gesprochener Sprache, wobei jedoch auch andere bekannte Anwendungen, welche die automatische Sprachidentifikation gesprochener Eingaben unterstützen, von der vorliegenden Erfindung profitieren können. Web-Browser, welche die vorliegende Erfindung enthalten, können für einen Schnittstellenbetrieb mit Websites oder anderen Anwendungen als Suchmaschinen eingesetzt werden. Zum Beispiel kann ein Internetportal die vorliegende Erfindung aufweisen, um die Spracheingabe in verschiedenen Sprachen zu unterstützen. Eine E-Commerce-Website kann sprachbasierte Bestellungen in verschiedenen Sprachen entgegennehmen und Bestätigungsinformationen mündlich in der vom Käufer verwendeten Sprache zurückgeben. Zum Beispiel kann es sich bei dem durch die sprachunabhängige Benutzerschnittstelle an die Website übermittelten Schlüsselwort um eine Bestellung oder um eine Anforderung von Produktinformationen handeln, die ursprünglich in einer beliebigen der von dem System unterstützten Sprachen gesprochen worden ist. Eine neue Website kann mündliche Anforderungen spezieller Nachrichtenartikel von Benutzern akzeptieren bzw. annehmen, die verschiedene Sprachen sprechen, und sie kann die angeforderten Nachrichtenartikel in der von den Benutzern gesprochenen Sprache zurückgeben. Zahlreiche weitere Anwendungen und Websites können von den durch die vorliegende Erfindung bereitgestellten Fähigkeiten bzw. Funktionalitäten profitieren.

Die Abbildung aus 2 zeigt ein Flussdiagramm, das die sprachunabhängige, auf gesprochener Sprache basierende Suche gemäß einem Ausführungsbeispiel der vorliegenden Erfindung veranschaulicht. In dem Block 100 kann Sprache von einem Benutzer empfangen und in eine digitale Darstellung umgesetzt werden. In dem Block 102 kann die digitalisierte Sprache analysiert werden, um die von dem Benutzer verwendete Sprache zu identifizieren. In dem Block 104 kann die Sprache gemäß der identifizierten Sprache in Text umgesetzt werden. In dem Block 106 können Schlüsselwörter durch Parsing des Texts aus dem Text extrahiert werden. In dem Block 108 können die Schlüsselwörter in eine Mehrzahl von Sprachen übersetzt werden. In dem Block 110 können die Schlüsselwörter in einer Mehrzahl von Sprachen als Suchbegriffe für Anfragen an eine oder mehrere Suchmaschinen verwendet werden. In dem Block 112 können die Suchergebnisse in einer Mehrzahl von Sprachen von der einen oder den mehreren Suchmaschinen in die Sprache übersetzt werden, die von dem Benutzer verwendet wird. Als nächstes können in dem Block 114 die Suchergebnisse zusammengefasst werden (sofern dies erforderlich ist). In dem Block 116 können die Suchergebnisse in einer Textform erzeugt werden, welche die natürlichen Sprachkonstrukte für die Sprache des Benutzers darstellt. In dem Block 118 kann der Text unter Verwendung eines Text-zu-Sprache-Moduls in Sprache umgesetzt und in einer für den Benutzer hörbaren Art und Weise wiedergegeben werden.

In der vorstehenden Beschreibung wurden verschiedene Aspekte der vorliegenden Erfindung beschrieben. Zu Zwecken der Erläuterung wurden spezifische Anzahlen, Systeme und Konfigurationen ausgeführt, um ein umfassendes Verständnis der vorliegenden Erfindung zu vermitteln. Für den Fachmann auf dem Gebiet, der von der vorliegenden Offenbarung profitiert, ist es jedoch ersichtlich, dass die vorliegende Erfindung auch ohne die spezifischen Einzelheiten ausgeführt werden kann. In anderen Fällen wurden allgemein bekannte Merkmale weggelassen oder vereinfacht dargestellt, um die vorliegende Erfindung nicht unnötig zu verschleiern.

Ausführungsbeispiele der vorliegenden Erfindung können in Hardware oder in Software oder in einer Kombination aus beiden implementiert werden. Die Ausführungsbeispiele der vorliegenden Erfindung können aber auch als Computerprogramme implementiert werden, die auf programmierbaren Systemen ausgeführt werden, die mindestens einen Prozessor, ein Datenspeichersystem (einschließlich flüchtigem und nichtflüchtigem Speicher und/oder Speicherelementen), mindestens eine Eingabevorrichtung und mindestens eine Ausgabevorrichtung aufweisen. Programmcode kann auf die Eingabedaten angewandt werden, um die hierin beschriebenen Funktionen auszuführen und um Ausgabeinformationen zu erzeugen. Die Ausgabeinformationen können auf bekannte Art und Weise einer oder mehreren Ausgabevorrichtungen zugeführt werden. Zu Zwecken dieser Anwendung umfasst ein Verarbeitungssystem, das die Wiedergabevorrichtungskomponenten aufweist, jedes System, das einen Prozessor, wie zum Beispiel einen digitalen Signalprozessor (DSP), einen Mikrocontroller, eine anwendungsspezifische integrierte Schaltung (ASIC) oder einen Mikroprozessor aufweist.

Die Programme können in einer höheren, prozeduralen bzw. verfahrensorientierten oder objektorientierten Programmiersprache implementiert werden, um mit einem Verarbeitungssystem zu kommunizieren. Die Programme können auch in einer Assembler- oder Maschinensprache implementiert werden, sofern dies gewünscht wird. Der Umfang der Erfindung ist somit nicht auf eine bestimmte Programmiersprache beschränkt. In jedem Fall kann es sich bei der Sprache um eine kompilierte oder eine interpretierte Sprache handeln.

Die Programme können auf einem Speichermedium oder einer Speichervorrichtung gespeichert werden (z.B. einem Festplattenlaufwerk, einem Floppy-Diskettenlaufwerk, einem Nur-Lesespeicher (ROM), einer CD-ROM-Vorrichtung, einem Flash-Speicherbaustein, einer Digital Versatile Disk (DVD) oder einer anderen Speichervorrichtung), das bzw. die durch ein allgemeines bzw. universelles oder ein programmierbares Verarbeitungssystem für einen bestimmten Zweck lesbar ist, um das Verarbeitungssystem zu konfigurieren und zu betreiben, wenn die Speichermedien oder die Speichervorrichtung durch das Verarbeitungssystem gelesen wird, um die hierin beschriebenen Abläufe auszuführen. Es ist auch möglich, dass Ausführungsbeispiele der Erfindung als ein maschinenlesbares Medium implementiert werden, konfiguriert für einen Einsatz in Verbindung mit einem Verarbeitungssystem, wobei das auf diese Weise konfigurierte Speichermedium bewirkt, dass das Verarbeitungssystem auf spezifische und vordefinierte Art und Weise arbeitet, so dass die hierin beschriebenen Funktionen ausgeführt werden.

Ein Beispiel für ein derartiges Verarbeitungssystem ist in der Abbildung aus 3 dargestellt, wobei aber auch andere Systeme ebenfalls verwendet werden können, und wobei nicht alle abgebildeten Komponenten des Systems für die vorliegende Erfindung erforderlich sind. Das Beispielsystem 400 kann zum Beispiel eingesetzt werden, um die Verarbeitung für Ausführungsbeispiele des sprachunabhängigen, auf gesprochener Sprache basierenden Systems gemäß der vorliegenden Erfindung auszuführen, wie etwa des hierin beschriebenen Ausführungsbeispiels. Das Beispielsystem 400 ist repräsentativ für Verarbeitungssysteme auf der Basis der PENTIUM® II, PENTIUM® III und CELERONTM Mikroprozessoren, die von der Intel Corporation erhältlich sind, wobei aber auch andere Systeme (einschließlich Personalcomputer (PCs) mit anderen Mikroprozessoren, Entwicklungs-Workstations, sonstige Set-Top-Boxen und dergleichen) und Architekturen ebenfalls verwendet werden können.

Die Abbildung aus 3 zeigt ein Blockdiagramm eines Systems 400 eines Ausführungsbeispiels der vorliegenden Erfindung. Das System 400 umfasst einen Prozessor 402, der Datensignale verarbeitet. Der Prozessor 402 kann mit einem Prozessorbus 404gekoppelt sein, der Datensignale zwischen dem Prozessor 402 und anderen Komponenten in dem System 400 überträgt.

Das System 400 weist einen Speicher 406 auf. Der Speicher 406 kann Befehle und/oder Daten speichern, die durch Datensignale dargestellt sind, die durch den Prozessor 402 ausgeführt werden können. Die Befehle und/oder Daten können Code umfassen, zur Ausführung jeder und/oder aller Techniken gemäß der vorliegenden Erfindung. Der Speicher 406 kann auch zusätzliche Software und/oder Daten (nicht abgebildet) aufweisen. Ein Cache-Speicher 408 kann sich in dem Prozessor 402 befinden, der in dem Speicher 406 gespeicherte Datensignale speichert.

Eine Brücken-/Speichersteuereinheit 410 kann mit dem Prozessorbus 404 und dem Speicher 406 gekoppelt sein. Die Brücken-/Speichersteuereinheit 410 leitet Datensignale zwischen dem Prozessor 402, dem Speicher 406 und anderen Komponenten in dem System 400 und überbrückt Datensignale zwischen dem Prozessorbus 404, dem Speicher 406 und einem ersten Ein-Ausgabebus (E/A) 412. In dem vorliegenden Ausführungsbeispiel sorgt eine Grafiksteuereinheit 413 für eine Schnittstellenverbindung mit einer Anzeigevorrichtung (nicht abgebildet) zum Anzeigen von Bildern, die durch die Grafiksteuereinheit 413 an einen Benutzer wiedergegeben oder anderweitig verarbeitet werden.

Der erste E/A-Bus 412 kann einen einzelnen Bus oder eine Kombination aus mehreren Bussen umfassen. Der erste E/A-Bus 412 stellt Übermittlungsabschnitte zwischen Komponenten in dem System 400 bereit. Eine Netzwerksteuereinheit 414 kann mit dem ersten E/A-Bus 412 gekoppelt sein. In bestimmten Ausführungsbeispielen kann eine Anzeigevorrichtungs-Steuereinheit 416 mit dem ersten E/A-Bus 412 gekoppelt sein. Die Anzeigevorrichtungs-Steuereinheit 416 ermöglicht ferner die Kopplung einer Anzeigevorrichtung mit dem System 400 und fungiert als eine Schnittstelle zwischen einer Anzeigevorrichtung (nicht abgebildet) und dem System. Die Anzeigevorrichtung empfängt Datensignale von dem Prozessor 402 über die Anzeigevorrichtungs-Steuereinheit 416 und zeigt in den Datensignalen enthaltene Informationen einem Benutzer des Systems 400 an.

Ein zweiter E/A-Bus 420 kann einen einzelnen Bus oder eine Kombination mehrerer Busse umfassen. Der zweite E/A-Bus 420 stellt Übermittlungsabschnitte zwischen Komponenten in dem System 400 bereit. Eine Datenspeichervorrichtung 422 kann mit dem zweiten E/A-Bus 420 gekoppelt sein. Eine Tastaturschnittstelle 424 kann mit dem zweiten E/A-Bus 420 gekoppelt sein. Eine Benutzereingabeschnittstelle 425 kann mit dem zweiten E/A-Bus 420 gekoppelt sein. Die Benutzereingabeschnittstelle kann mit einer Benutzereingabevorrichtung gekoppelt werden, wie etwa einer Fernbedienung, einer Maus, einem Joystick oder einem Trackball, um zum Beispiel Eingabedaten an das Computersystem bereitzustellen. Eine Busbrücke 428 koppelt die erste E/A-Brücke 412 mit der zweiten E/A-Brücke 420.

Ausführungsbeispiele der vorliegenden Erfindung beziehen sich auf den Einsatz des Systems 400 als ein sprachunabhängiges, auf gesprochener Sprache basierendes Suchsystem. Gemäß einem Ausführungsbeispiel kann eine derartige Verarbeitung durch das System 400 als Reaktion darauf ausgeführt werden, dass der Prozessor 402 Befehlsfolgen in dem Speicher 404 ausführt. Derartige Befehle können von einem anderen computerlesbaren Medium in den Speicher 404 gelesen werden, wie etwa aus der Datenspeichervorrichtung 422 oder von einer anderen Quelle, wie zum Beispiel über die Netzwerksteuereinheit 414. Die Ausführung der Befehlsfolgen bewirkt es, dass der Prozessor 402 eine sprachunabhängige Benutzerschnittstellenverarbeitung gemäß Ausführungsbeispielen der vorliegenden Erfindung ausführt. In einem alternativen Ausführungsbeispiel kann eine Hardware-Schaltkreisanordnung an Stelle von oder in Kombination mit Softwarebefehlen eingesetzt werden, um Ausführungsbeispiele der vorliegenden Erfindung zu implementieren. Die vorliegende Erfindung ist somit nicht auf eine bestimmte Kombination von Hardware-Schaltkreisanordnung und Software beschränkt.

Die Elemente des Systems 400 führen ihre herkömmlichen Funktionen auf im Fach allgemein bekannte Art und Weise aus. Im Besonderen kann die Datenspeichervorrichtung 422 eingesetzt werden, um eine langfristigen Speicherung für die ausführbaren Befehle und Datenstrukturen für Ausführungsbeispiele des sprachunabhängigen, auf gesprochener Sprache basierenden Suchsystems gemäß der vorliegenden Erfindung bereitzustellen, während der Speicher 406 eingesetzt wird, um kurzfristiger die ausführbaren Befehle von Ausführungsbeispielen des sprachunabhängigen, auf gesprochener Sprache basierenden Suchsystems gemäß der vorliegenden Erfindung während der Ausführung durch den Prozessor 402 zu speichern.

Die vorliegende Erfindung wurde vorstehend in Bezug auf veranschaulichende Ausführungsbeispiele beschrieben, wobei die Beschreibung jedoch nicht einschränkend auszulegen ist. Verschiedene Modifikationen der veranschaulichenden Ausführungsbeispiele sowie weitere Ausführungsbeispiele der vorliegenden Erfindung, die für den Fachmann auf dem Gebiet, an den sich die vorliegende Erfindung richtet, liegen innerhalb des Umfangs der Erfindung gemäß der Definition durch die anhängigen Hauptansprüche.


Anspruch[de]
Verfahren zum Anschluss an ein System, wobei das Verfahren folgendes umfasst:

das Empfangen von Spracheingabedaten von einem Benutzer (100);

das Identifizieren einer durch den Benutzer gesprochenen Sprache aus den Spracheingabedaten (102);

das Umwandeln der Spracheingabedaten in einen ersten Text in der identifizierten Sprache durch Erkennen der Sprache des Benutzers in den Spracheingabedaten zumindest teilweise auf der Basis des Sprachbezeichners (104);

das Analysieren des ersten Textes zum Extrahieren eines Schlüsselwortes (106);

das automatische Übersetzen des Schlüsselwortes in eine Mehrzahl automatisch ausgewählter Sprachen, die sich von der identifizierten Sprache (108) unterscheiden;

das Einsetzen des übersetzten Schlüsselwortes als ein Befehl an eine Anwendung (110), die Ergebnisse (112) zurückgibt;

das automatische Zusammenfassen der Ergebnisse (114);

das Umsetzen der zusammengefassten Ergebnisse in einen zweiten Text mit einem prosodischen Muster gemäß der durch den Benutzer (116) gesprochenen Sprache; und

das Wiedergeben des zweiten Texts zur Wahrnehmung durch den Benutzer (118).
Verfahren nach Anspruch 1, wobei das Wiedergeben das Umsetzen des zweiten Texts in Sprache und die Wiedergabe der Sprache an den Benutzer umfasst. Verfahren nach Anspruch 1, wobei das prosodische Muster dafür sorgen kann, dass der zweite Text natürlich und grammatikalisch korrekt klingt. Verfahren nach Anspruch 1, wobei dieses ferner den Einsatz des übersetzten Schlüsselbegriffs als eine Suchanfrage an mindestens eine Suchmaschine umfasst, wobei die genannte Suchmaschine so konfiguriert ist, dass sie Ergebnisse auf der Basis der Suchanfrage bereitstellt. Verfahren nach Anspruch 4, wobei die Ergebnisse Suchergebnisse in mehreren Sprachen von der mindestens einen Suchmaschine umfassen, welche die Suchanfrage bearbeitet. Sprachunabhängiges, auf Sprache basierendes Benutzerschnittstellensystem, das folgendes umfasst:

einen Sprachbezeichner (22) zum Empfang von Spracheingabedaten von einem Benutzer und zum Identifizieren der durch den Benutzer gesprochenen Sprache;

mindestens eine Spracherkennungseinrichtung (24) für den Empfang von Spracheingabedaten und den Sprachbezeichner und zum Umsetzen der Spracheingabedaten in einen ersten Text zumindest teilweise auf der Basis des Sprachbezeichners;

mindestens ein Verarbeitungsmodul (26) für natürliche Sprache, zum Analysieren des ersten Texts, um ein Schlüsselwort zur Verwendung als ein Befehl an eine Anwendung zu extrahieren, welche Ergebnisse zurückgibt;

dadurch gekennzeichnet, dass das System ferner folgendes umfasst:

i) ein Zusammenfassungsmodul (36) zum automatischen Zusammenfassen der Ergebnisse; und mindestens eine Erzeugungseinrichtung (38) für natürliche Sprache zum Umwandeln der zusammengefassten Ergebnisse in einen zweiten Text mit einem prosodischen Muster gemäß der von dem Benutzer gesprochenen Sprache; und

ii) mindestens einen Sprachübersetzer (28) zum Automatischen Übersetzen des Schlüsselwortes in eine Mehrzahl von automatisch ausgewählten Sprachen, die sich von der identifizierten Sprache unterscheiden, und zum Übersetzen der von der Anwendung zurückgegebenen Ergebnisse in anderem Sprachen als der von dem Benutzer gesprochenen Sprache in die von dem Benutzer gesprochene Sprache.
System nach Anspruch 6, dadurch gekennzeichnet, dass das System ferner mindestens ein Text-zu-Sprache-Modul für die akustische Wiedergabe des Texts für den Benutzer umfasst. System nach Anspruch 6, dadurch gekennzeichnet, dass das prosodische Muster dafür sorgt, dass der zweite Text natürlich und grammatikalisch korrekt klingt. System nach Anspruch 6, dadurch gekennzeichnet, dass das System mit einem Web-Browser gekoppelt ist, und wobei der Web-Browser eine Schnittstellenverbindung mit mindestens einer Suchmaschine aufweist, wobei das Schlüsselwort eine Suchanfrage umfasst, und wobei der zweite Text Suchergebnisse von der mindestens einen Suchmaschine umfasst. Computerprogramm-Codeeinrichtung, welche die Schritte jedes der Ansprüche 1 bis 5 ausführen kann, wenn sie auf einem Computer ausgeführt wird. Computerlesbares Medium, das eine Computerprogramm-Codeeinrichtung nach Anspruch 10 umfasst.






IPC
A Täglicher Lebensbedarf
B Arbeitsverfahren; Transportieren
C Chemie; Hüttenwesen
D Textilien; Papier
E Bauwesen; Erdbohren; Bergbau
F Maschinenbau; Beleuchtung; Heizung; Waffen; Sprengen
G Physik
H Elektrotechnik

Anmelder
Datum

Patentrecherche

Patent Zeichnungen (PDF)

Copyright © 2008 Patent-De Alle Rechte vorbehalten. eMail: info@patent-de.com