Stefan Müller :

Segmentierung und Klassifizierung von Bildern und Bildsequenzen mit Hidden-Markov-Modellen

Dissertation angenommen durch: Gerhard-Mercator-Universität Duisburg, Fakultät für Ingenieurwissenschaften, Abteilung Elektrotechnik und Informationstechnik, 2001-12-17

BetreuerIn: Prof. Dr.-Ing. habil. Gerhard Rigoll , Gerhard-Mercator-Universität Duisburg, Fakultät für Ingenieurwissenschaften, Abteilung Elektrotechnik und Informationstechnik

GutachterIn: Prof. Dr.-Ing. habil. Gerhard Rigoll , Gerhard-Mercator-Universität Duisburg, Fakultät für Ingenieurwissenschaften, Abteilung Elektrotechnik und Informationstechnik
GutachterIn: Prof. Dr. Heinrich Müller , Universität Dortmund, Fachbereich Informatik, Informatik VII (Graphische Systeme)

Schlüsselwörter in Deutsch: Mensch-Maschine-Kommunikation, Mustererkennung, Bilddatenbankabfrage, Gestikerkennung, Hidden-Markov-Modelle
Schlüsselwörter in Englisch: Man-Machine-Communication, Pattern Recognition, Image Database Retrieval, Gesture Recognition, Hidden Markov Models

 
   
 Klassifikation     
    Sachgruppe der DNB: 28 Informatik, Datenverarbeitung
 
   
 Abstrakt     
   

Abstrakt in Deutsch

Gegenstand dieser Arbeit ist die Nutzung der integrierten Segmentierungs- und Klassifizierungseigenschaften der Hidden-Markov-Modelle (HMMs) für die Erkennung von Mustern in Bildern und Bildsequenzen. Diese besondere Eigenschaft ist durch den Viterbi-Algorithmus gegeben, der eine Merkmal-Zustandszuordnung ausgibt, die als Segmentierung interpretiert werden kann. Ferner liefert der Viterbi-Algorithmus einen Schätzwert dafür, daß ein gegebenes Muster von einem HMM produziert wurde. Unter Verwendung dieses Schätzwertes erfolgt die Musterklassifikation. Obwohl HMMs schon seit den 80er Jahren erfolgreich bei der Erkennung von Sprache eingesetzt werden und in diesem Anwendungsszenario somit schon lange Gebrauch gemacht wird, von der Fähigkeit in einem Schritt segmentieren und klassifizieren zu können, so ist die Nutzung dieserEigenschaften auf dem Gebiet der Bild- und Bildsequenzerkennung als neu anzusehen. Dabei ist die Verwendung der Hidden-Markov-Modelle bei der Erkennung von Bildern, also zweidimensionaler Muster, keinesfalls trivial, da eine Erweiterung der eindimensionalen Struktur dieser Modelle erforderlich ist. Gleiches gilt für Bildsequenzen, die dreidimensionale Muster darstellen.In dieser Arbeit werden zunächst neuartige rotationsinvariante Modellierungen von Piktogrammen und Objektformen mit eindimensionalen Hidden-Markov-Modellen vorgestellt. Es werden Ergebnisse präsentiert, die mit einem Bilddatenbanksystem, das intuitiv über Skizzen des Benutzers abgefragt werden kann und das die neuartigen eindimensionalen Modelltopologien verwendet, erzielt wurden. Anschließend wird ein Ansatz vorgestellt, der es ermöglicht, zweidimensionale Muster in komplexen Umgebungen aufzufinden und zuklassifizieren. Schließlich werden neuartige pseudo dreidimensionale HMMs eingeführt, die für die Erkennung von Bildsequenzen eingesetzt werden können.Es wird eine Vielzahl von Experimenten mit neuartigen Modellierungsmethoden vorgestellt, die die Eignung dieser Methoden für die Mensch-Maschine-Kommunikation und den multimedialen Anwendungen belegen. Die Arbeit zeigt somit das große Anwendungspotential der HMMs im Bereich Bild- und Bildsequenzerkennung.

Abstrakt in Englisch

This thesis deals with an integrated approach to the segmentation and classification of patterns in images and image sequences. The approach is based on so-called Hidden Markov Models (HMMs). The special recognition procedure for HMMs, based on Viterbi decoding, provides an automatic alignment of features and model states, which can be interpreted as a segmentation. Furthermore, the Viterbi-algorithm provides an estimate for the probability that a given pattern has been generated by the HMM. This probability can beused in order to classify the pattern. Although the integrated HMM-based segmentation and classification approach has been utilized in speech recognition since the early 80s, the application of this approach to image and image sequence recognition can be considered to be new. The application of HMMs to the task of two-dimensional pattern recognition is a challenging task, due to the fact that it becomes necessary to extend the one-dimensional topology of the HMMs. Image sequences are even more demanding, due to theirthree-dimensional structure.The thesis presents a novel rotation-invariant modeling technique ofpictograms and planar objects using conventional one-dimensionalHidden-Markov-Models. To verify the proposed approach, experiments with an image database system have been carried out, where users are enabled to provide simple sketches in order to retrieve images from the database. Thereafter, a statistical approach is presented, which allows the spotting and classification of two-dimensional patterns in complex scenes. Finally, novel pseudo three-dimensional HMMs are introduced, which allow the recognition of image sequences.Many experiments utilizing the novel modeling techniques are described in this theses. The achieved results demonstrate that the approaches can be used to solve problems in man-machine-communication as well as multimedia applications. Thus, the huge application potential of HMMs for image and imagesequence recognition is shown.