Towards Robust Object Segmentation in Video Sequences and its Applications

Objektsegmentierung ist eines der grundlegenden Probleme in der Bildverarbeitung und Computervision, da sie eine Vorstufe für viele Aufgaben der Objektanalyse und Anwendungen darstellt. Viele Verfahren der Objektanalyse wie zum Beispiel die Objekterkennung sind auf eine genaue Segmentierung der interessanten Objekte angewiesen. Um dies zu Erreichen können verschiedene visuelle Merkmale analysiert werden. Das grundlegende Ziel dieser Dissertation ist die Entwicklung einer robusten Methode fuer die Segmentierung von Objekten in Videos, welche mit einer statischen Kamera aufgenommen wurden. Hierfür untersucht und verbessert diese Arbeit Techniken yu Hintergrundmodellierung und -subtraktion. In einem System zur Objektsegmentierung durchläuft ein Video verschiedene Prozesse bevor das Segmentierungseergebnis der gewünschten Anwendung weitergereicht wird. Jeder dieser Prozesse besityt spezifische Vor- und Nachteile, die die Qualität der Segmentierung verbessern oder verschlechtern können. Das allgemeine System besteht aus drei verschiedenen Prozessen (Vor-, Haupt-, Nachverarbeitung) und verschiedenen Applikationen, die die Bestandteile dieser Dissertation sind. Der erste Teil dieser Dissertation befasst sich mit der Vorverarbeitungsstufe, in der eine hierarchiche Methode zur Hintergrundschätzung vorgestellt wird, um ein zuverlässiges Hintergrundmodell in Anwesenheit von sich bewegenden Objekten zu erstellen. Für die eigentliche Hintergrundsubtraktion werden neun dem Stand der Technik entsprechende Methoden untersucht und miteinander verglichen. Hierbei werden sowohl subjektive als auch objektive Bewertungsmaße verwendet und die individuellen Vor- und Nachteile analysiert und beschrieben. Die daraus gewonnenen Erkenntnisse wurden in eine zuverlässigere Methode zur Hintergrundsubtraktion integriert, welche die invariante Farbbeschreibung des Gaußschen Farbmodels mit einem zeitlichen Konsistenzkriterium kombiniert. Da Reflektionen von Objekten auf glänzenden Böden ein grundlegendes Problem für alle Verfahren der Objektsegmentierung darstellen, wurde eine Methode zur Detektion und Entfernung von Reflektionen als Nachverarbeitungsschritt entwickelt. Dabei wird die visuell Erscheinung und Form des übersegmentierten Objektes analysiert um die Reflektionsgrenye zu finden und die Objektmaske zu adaptieren. Betrachtet man die Bildsegmentierung im allgemeinen, stellt man fest, dass die Evaluierung sehr schwierig und wegen der notwendigen Grundwahrheit sehr zeitaufwendig ist. Basierend auf der entwickelten Hintegrundsubtraktion wird für dieses Problem ein automatisches System zur objektbasierten Evaluierung von Bildsegmentierungsverfahren vorgestellt. Dabei wird die Grundwahrheit automatisch durch die Objektsegmentierung generiert und mit dem Ergebnis der Bildsegmentierung veglichen. Im Vergleich zur manuell generierten Grundwahrheit werden die Evaluierungsergebnisse nur gering beeinflusst. Das entwickelte System zur Objektsegmentierung wurde in einigen Anwendungen eingsetzt, um seine Vielseitigkeit zu testen. Bei der ersten Anwendung handelt es sich um ein System zur visuellen Überwachung, welches Personen detektiert, verfolgt und anhand ihrer visuellen Erscheinung identifiziert. Durch die Kombination von Video- und Audioanalyse wurde das System zur multimodalen Überwachung erweitert. Durch die multimodale Fusion, in der meistens das Audio dem Video zur Hilfe steht, werden bessere Ergbenisse erzielt. Die dritte Anwendung ist ein System zur automatischen Analyse von Fußballspielen. Dabei werden die Spieler mit Hilfe von acht Kameras auf dem Spielfeld detektiert, verfolgt und den jeweiligen Teams zugeordnet. Die extrahierten Informationen werden verwendet um eine vereinfachte Darstellung des Spielgeschehens für portable Geräte oder taktische Analzsen zu generieren. In der letzten Anwendung wird ein System für die Mensch-Maschine-Interaktion realisiert. Es analysiert die Erscheinung und der Bewegung einer Person um diese zu identifizieren und ihre Gesten zu intepretieren. Das System wurde für das Szenario eines intelligenten Geldautomaten getestet.

Author dc:creator

• Karaman, Mustafa

Advisor dc:contributor.advisor

• Sikora, Thomas

Licence dc:rights.uri

• http://rightsstatements.org/vocab/InC/1.0/

Language dc:language.iso

en, English

Identifier URI

urn:nbn:de:kobv:83-opus-27219
http://dx.doi.org/10.14279/depositonce-2525

OAI identifier oai:identifier

oai:depositonce.tu-berlin.de:11303/2822