Dati Sintetici per Comprendere le Interazioni Egocentriche Mano-Oggetto: Un'Esplorazione Approfondita

Comprendere il comportamento umano attraverso l'analisi di immagini e video egocentrici è cruciale nella computer vision, estendendosi a settori quali la sanità, l'analisi comportamentale industriale e l'interazione uomo-computer. I dispositivi indossabili svolgono un ruolo chiave in questo contesto, consentendo la raccolta dati con un impatto minimo sulle attività dell'utente. Analizzando tali dati, è possibile sviluppare sistemi intelligenti in grado di riconoscere le interazioni tra mano e oggetto, fornendo assistenza agli esseri umani in varie attività. Tali interazioni includono toccare, tenere, manipolare o spostare oggetti. In questa tesi, abbiamo formalizzato le interazioni tra mano e oggetto sotto forma di triplette (). Tale definizione concettuale comprende il riconoscimento di mani e oggetti interagiti nelle immagini, oltre alla previsione di un'etichetta di stato di contatto per ciascuna mano, distinguendo tra "non in contatto" e "in contatto". Comprendere le interazioni tra mano e oggetto nei settori industriali può guidare i lavoratori nelle attività di assemblaggio, migliorandone efficienza e sicurezza. Tuttavia, l'efficacia di tali sistemi è strettamente legata alla presenza di dati reali etichettati su larga scala, un processo complesso e costoso. L'utilizzo di dati sintetici automaticamente annotati rappresenta un'alternativa promettente, offrendo un metodo più rapido ed economico per la generazione e l'etichettatura dei dati. Tuttavia, l'integrazione di dati sintetici pone nuove sfide, come la fedeltà dei dati e il divario tra i due domini. Questa tesi dimostra il potenziale dell'uso di dati sintetici automaticamente etichettati per migliorare la rilevazione delle interazioni tra mano e oggetto, riducendo la dipendenza dai dati reali annotati. Per studiare adeguatamente questo problema, la nostra ricerca si è concentrata sullo sviluppo di nuovi simulatori per generare dati di interazione tra mano e oggetto e su metodologie per sfruttare in modo efficace tali informazioni. In aggiunta, abbiamo raccolto e reso pubblici dataset di benchmark (ENIGMA-51, EgoISM-HOI e HOI-Synth) per supportare la nostra analisi. Riteniamo che questi dataset saranno preziosi per la comunità di ricerca, agevolando future indagini in questo settore.

Grantor dc:publisher

Università degli studi di Catania

Year dc:date

2024

Author dc:creator

• LEONARDI, Rosario

Contributors dc:contributor

• FARINELLA, GIOVANNI MARIA

• Hand-Object Interaction
• Synthetic Data
• Data simulator
• Interazioni Egocentriche Mano-Oggetto
• Dati sintetici
• Simulatore di dati

Statement dc:rights

• info:eu-repo/semantics/openAccess
• license:PUBBLICO - Pubblico con Copyright
• license uri:iris.PUB02

Language dc:language

ita

Handle dc:identifier

https://hdl.handle.net/20.500.11769/657949

OAI identifier oai:identifier

oai:www.iris.unict.it:20.500.11769/657949