Abstract
In dieser Dissertation stellen wir neuartige Methoden zur Erfassung von menschlichen Bewegungen und Mensch-Objekt-Interaktionen mithilfe von tragbaren Geräten vor, wobei wir ein Aufnahmesystem verwenden, das aus einer am Kopf montierten Kamera und am Körper montierten IMUs besteht. Während sich die überwiegende Mehrheit der Arbeiten zur 3D-Rekonstruktion menschlicher Bewegungen auf Aufnahmemethoden von externen Kameras konzentriert, liegt unser Schwerpunkt auf tragbaren Körpersensoren, die oft skalierbarer und einfacher zu verwenden sind. Im Laufe unserer Arbeit lösen wir die Herausforderungen der Erfassung von Bewegungen aus eingeschränkten und verrauschten Daten, der Modellierung von Mensch-Objekt-Interaktionen ohne visuelle Beobachtung und der Reduzierung des Aufnahmesystems auf ein einzelnes am Kopf montiertes Gerät. Zuvor konnten tragbare Systeme nur die menschliche Bewegung erfassen, sie jedoch nicht innerhalb großer 3D-Szenen lokalisieren. Als ersten Beitrag stellen wir das Human POSEitioning System (HPS) vor, das erste System, das mithilfe des neuen tragbaren Setups mit einer Kamera und IMUs eine langfristige, hochpräzise 3D-Abschätzung der menschlichen Pose und Selbstlokalisierung innerhalb großer Szenen ermöglicht. Es kombiniert Deep-Learning-basierte Kameralokalisierung mit IMU basierter Positionsschätzung und geometrischen Anhaltspunkten aus Szenenpunktwolken in einem einzelnem Optimierungsalgorithmus. Dadurch kann HPS die menschliche Bewegung rekonstruieren und innerhalb der Szene lokalisieren, während physikalische Einschränkungen wie Fuß-Boden-Kontakte berücksichtigt werden. HPS demonstriert die Machbarkeit der Erfassung umfangreicher menschlicher Bewegungsdaten über längere Zeiträume, was zur Sammlung des HPS-Datensatzes führte -- eines Datensatzes langer menschlicher Aktivitäten in großen Szenen, der sich als Benchmark in diesem Bereich etablierte. Zusammen wurden das HPS-System und der HPS-Datensatz zu einem Sprungbrett für zukünftige Forschungen zur tragbaren Bewegungserfassung. Unser nächster Beitrag erweitert die Fähigkeiten tragbarer Systeme weiter. Wir lockern die Hauptannahme von HPS -- statische Szenen -- und präsentieren iReplica, eine wegweisende Methode zur Erfassung von Mensch-Objekt-Interaktionen und zur Modellierung dynamischer Szenenänderungen mit einer Kopfkamera und am Körper montierten IMUs. Um die Herausforderungen der eingeschränkten Objektsichtbarkeit und der menschlichen Lokalisierungsartefakte zu lösen, entwickeln wir innovative Algorithmen zur Kontakterkennung aus Bewegungsmustern und zur Korrektur der Position des Subjekts anhand der Interaktionen. Zusammen ermöglichten diese Ideen zum ersten Mal die Modellierung von Mensch-Objekt-Interaktionen ohne externe Sensoren. Um unser Modell zu trainieren, sammelten wir einen neuen Datensatz, der mehrere Stunden Interaktionsdaten, Kontaktzeiten und Videos aus der Egoperspektive umfasste, die wir öffentlich zugänglich gemacht haben, um weitere Fortschritte in diesem Bereich zu fördern. Das oben erwähnte tragbare System zeigt großartige Ergebnisse, erfordert jedoch mehrere am Körper getragene Geräte, um menschliche Bewegungen zu erfassen. Unser nächster Beitrag reduziert die Anzahl der Sensoren auf einen einzigen am Kopf getragenen Sensor. Während es zunächst unmöglich erscheint, die gesamte Körperbewegung mit so einem minimalistischen Aufbau wiederherzustellen, besteht unsere Kernidee darin, die Informationen über die Umgebung des Subjekts optimal zu nutzen. Wir präsentieren HMD2 -- eine erste Methode zur Bewegungsgenerierung, die, zusätzlich zu den dünnbesetzten Bewegungseingaben, Umgebungsinformationen verwendet, die aus der egozentrischen Perspektive gewonnen wurden. Es basiert auf einem diffusionsbasierten Bewegungsmodell, das menschliche Bewegungen abhängig von Videostreams, Gerätetrajektorien und lokalen Szenenpunktwolkenrekonstruktionen generiert, die alle vom selben am Kopf getragenen Gerät stammen. Unsere Experimente zeigen, dass der Kontext der Szene und die Sensorbahn ausreichen, um plausible menschliche Bewegungen zu erzeugen, die in den meisten Situationen eng mit der Grundwahrheit übereinstimmen. HMD2 reduziert die Hardwareanforderungen erheblich und eröffnet neue Möglichkeiten für Anwendungen in Smart Glasses und anderen minimalistischen tragbaren Technologien. Insgesamt bringt diese Dissertation das Feld der tragbaren Bewegungserfassung voran, indem sie sich mit den wichtigsten Herausforderungen im Zusammenhang mit egozentrischen Erfassungssystemen befasst und innovative Lösungen präsentiert, die mehrere Eingabemodalitäten mit neuartigen Fusionsalgorithmen kombinieren. Die vorgeschlagenen Methoden und gesammelten Datensätze ebnen den Weg für zukünftige Forschung und praktische Anwendungen in Bereichen, die das Verständnis und die Nachbildung menschlichen Verhaltens erfordern, wie Augmented Reality, virtuelle Präsenzsoftware und Robotik.
Author and committee
dc:creator, dc:contributor.*- Author
-
- Guzov, Vladimir
Identifiers
dc:identifier.*- Identifier
- hdl:10900/172955