Textgenerierung aus visuellen Daten: Beschreibungen von Straenszenen

Das Thema der Untersuchung ist die algorithmische Generierung einer naturlichsprachlichen Beschreibung einer Bildfolge, wobei von einer symbolischen Reprasentation der Bildfolge ausgegangen wird, die im wesentlichen die erkannten Objekte, sowie deren Ort und Orientierung fur jedes Bild der Folge enthalt. Fragen der Textgenerierung werden in umfassender Weise unter dem Aspekt der Beschreibung visueller zeitveranderlicher Daten behandelt, fur die ein Verfahren zum Erzeugen koharenter Beschreibungstexte angegeben wird. Dem Verfahren liegt der Gedanke zugrunde, dem Horer/Leser den Aufbau einer mentalen Vorstellung von den beschriebenen Bewegungen zu ermoglichen. Insbesondere wird ein Computerprogramm vorgestellt, das NAOS-System, das von der Erkennung von Teilbereichen einer Bildfolge, die durch ein Verb beschrieben werden konnen, bis zur Ausgabe des koharenten Beschreibungstextes alle notwendigen Prozesse beispielhaft integriert. NAOS verbindet damit zwei bisher weitgehend separat verfolgte Teilbereiche der Kunstlichen Intelligenz, Bildverstehen und Verarbeitung naturlicher Sprache. Die umfassende Behandlung der Fragestellung reicht von der theoretischen Diskussion bis zur praktischen Implementation.