Vision-based image retrieval (VBIR) : a new eye-tracking based approach to efficient and intuitive image retrieval

Die vorliegende Arbeit beschreibt einen neuen Ansatz für die inhaltsbasierte Suche von Bildern in Datenbanken auf Basis von Blickbewegungsmessungen. Im Vision-Based Image Retrieval (VBIR) werden die Bilder in 16 gleich große Sektoren unterteilt, für die jeweils lokale Farb-, Form- und Texturmerkmale berechnet werden. Das Besondere am VBIR-Ansatz ist die dynamische Gewichtung lokaler Bildmerkmale (Bottom-Up Informationen) aus Aufmerksamkeitslandschaften online erfasster Blickdaten (Top-Down Informationen). Auf diese Weise passt sich das System den Präferenzen des Benutzers an. In den folgenden Suchprozessen werden dann solche Bilder ausgewählt, die dem gesuchten Bild in den bevorzugten Sektoren und Bildeigenschaften am ähnlichsten sind. Das neue System wurde in zwei Studien evaluiert, deren Ergebnisse vorgestellt werden: zum einen wird der neue Ansatz mit einem klassischen Bildsuchsystem (CBIR) verglichen. Zum anderen werden die Suchergebnisse beider Ansätze gemäß menschlichen Ähnlichkeitsbewertungen beurteilt. Die Ergebnisse belegen, dass mit dem VBIR-System eine höhere Erfolgsquote bei kürzeren mittleren Suchzeiten erreicht werden kann. Darüber hinaus werden die gefundenen Bilder als ähnlicher zum Anfragebild bewertet als beim CBIR-System. Bei der Umsetzung der Bildsuchsysteme werden zwei zentrale Aspekte für deren Gestaltungsprozess, nämlich die Bestimmung der optimalen Gewichtung der Bildmerkmale und die Merkmalsevaluierung, genauer untersucht. Dabei wird die optimale Gewichtung der eingesetzten Merkmalstypen mittels Shannon-Entropie aus Distanzhistogrammen berechnet. Im Gegensatz zu den üblichen Ansätzen, die iterativ die Einzelgewichtungen manuell anpassen, erfordert dieses Verfahren lediglich einen Rechendurchgang. Die Evaluation der Bildmerkmale erfolgt über ein Lernverfahren, eine Selbstorganisierende Merkmalskarte (SOM), welche Bilder gemäß ihrer Merkmalsähnlichkeit auf einem 2D Gitter anordnet. Die Arbeit schließt mit der Beschreibung von Computermodellen, mit denen die Suchprozesse für beide Bildsuchverfahren (VBIR und CBIR) in wesentlichen Zügen nachgebildet werden. Mittels eines weiteren, separaten Modells wird evaluiert, wie die verschiedenen Bildeigenschaften die Aufmerksamkeit der Probanden steuern.

Level thesis:degree_level

thesis.doctoral

Grantor dc:publisher

Universität Bielefeld

Year

2007

Author dc:creator

• Essig, Kai

Repository record source_url

https://pub.uni-bielefeld.de/record/2305605

OAI identifier oai:identifier

oai:pub.uni-bielefeld.de:2305605