{"id":{"repo_id":"catania","oai_identifier":"oai:www.iris.unict.it:20.500.11769/657949"},"canonical_url":"https://search.dev.ndltd.org/etd/catania/oai:www.iris.unict.it:20.500.11769/657949","repository":{"repo_id":"catania","name":"Università degli Studi di Catania","base_url":"https://www.iris.unict.it/oai/request"},"display":{"title":"Dati Sintetici per Comprendere le Interazioni Egocentriche Mano-Oggetto: Un'Esplorazione Approfondita","abstract":"Comprendere il comportamento umano attraverso l'analisi di immagini e video egocentrici è cruciale nella computer vision, estendendosi a settori quali la sanità, l'analisi comportamentale industriale e l'interazione uomo-computer. I dispositivi indossabili svolgono un ruolo chiave in questo contesto, consentendo la raccolta dati con un impatto minimo sulle attività dell'utente. Analizzando tali dati, è possibile sviluppare sistemi intelligenti in grado di riconoscere le interazioni tra mano e oggetto, fornendo assistenza agli esseri umani in varie attività. Tali interazioni includono toccare, tenere, manipolare o spostare oggetti. In questa tesi, abbiamo formalizzato le interazioni tra mano e oggetto sotto forma di triplette (). Tale definizione concettuale comprende il riconoscimento di mani e oggetti interagiti nelle immagini, oltre alla previsione di un'etichetta di stato di contatto per ciascuna mano, distinguendo tra \"non in contatto\" e \"in contatto\". Comprendere le interazioni tra mano e oggetto nei settori industriali può guidare i lavoratori nelle attività di assemblaggio, migliorandone efficienza e sicurezza. Tuttavia, l'efficacia di tali sistemi è strettamente legata alla presenza di dati reali etichettati su larga scala, un processo complesso e costoso. L'utilizzo di dati sintetici automaticamente annotati rappresenta un'alternativa promettente, offrendo un metodo più rapido ed economico per la generazione e l'etichettatura dei dati. Tuttavia, l'integrazione di dati sintetici pone nuove sfide, come la fedeltà dei dati e il divario tra i due domini. Questa tesi dimostra il potenziale dell'uso di dati sintetici automaticamente etichettati per migliorare la rilevazione delle interazioni tra mano e oggetto, riducendo la dipendenza dai dati reali annotati. Per studiare adeguatamente questo problema, la nostra ricerca si è concentrata sullo sviluppo di nuovi simulatori per generare dati di interazione tra mano e oggetto e su metodologie per sfruttare in modo efficace tali informazioni. In aggiunta, abbiamo raccolto e reso pubblici dataset di benchmark (ENIGMA-51, EgoISM-HOI e HOI-Synth) per supportare la nostra analisi. Riteniamo che questi dataset saranno preziosi per la comunità di ricerca, agevolando future indagini in questo settore.","abstract_html":"Comprendere il comportamento umano attraverso l'analisi di immagini e video egocentrici è cruciale nella computer vision, estendendosi a settori quali la sanità, l'analisi comportamentale industriale e l'interazione uomo-computer. I dispositivi indossabili svolgono un ruolo chiave in questo contesto, consentendo la raccolta dati con un impatto minimo sulle attività dell'utente. Analizzando tali dati, è possibile sviluppare sistemi intelligenti in grado di riconoscere le interazioni tra mano e oggetto, fornendo assistenza agli esseri umani in varie attività. Tali interazioni includono toccare, tenere, manipolare o spostare oggetti. In questa tesi, abbiamo formalizzato le interazioni tra mano e oggetto sotto forma di triplette (). Tale definizione concettuale comprende il riconoscimento di mani e oggetti interagiti nelle immagini, oltre alla previsione di un'etichetta di stato di contatto per ciascuna mano, distinguendo tra "non in contatto" e "in contatto". Comprendere le interazioni tra mano e oggetto nei settori industriali può guidare i lavoratori nelle attività di assemblaggio, migliorandone efficienza e sicurezza. Tuttavia, l'efficacia di tali sistemi è strettamente legata alla presenza di dati reali etichettati su larga scala, un processo complesso e costoso. L'utilizzo di dati sintetici automaticamente annotati rappresenta un'alternativa promettente, offrendo un metodo più rapido ed economico per la generazione e l'etichettatura dei dati. Tuttavia, l'integrazione di dati sintetici pone nuove sfide, come la fedeltà dei dati e il divario tra i due domini. Questa tesi dimostra il potenziale dell'uso di dati sintetici automaticamente etichettati per migliorare la rilevazione delle interazioni tra mano e oggetto, riducendo la dipendenza dai dati reali annotati. Per studiare adeguatamente questo problema, la nostra ricerca si è concentrata sullo sviluppo di nuovi simulatori per generare dati di interazione tra mano e oggetto e su metodologie per sfruttare in modo efficace tali informazioni. In aggiunta, abbiamo raccolto e reso pubblici dataset di benchmark (ENIGMA-51, EgoISM-HOI e HOI-Synth) per supportare la nostra analisi. Riteniamo che questi dataset saranno preziosi per la comunità di ricerca, agevolando future indagini in questo settore.","abstract_has_math":false,"creators":["LEONARDI, Rosario"],"institution":"Università degli studi di Catania","degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":["FARINELLA, GIOVANNI MARIA"],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2024,"date_issued":"2024-06-26","date_published":"2024-06-26","updated_at":"2026-07-24T01:34:56Z","subjects":["Hand-Object Interaction","Synthetic Data","Data simulator","Interazioni Egocentriche Mano-Oggetto","Dati sintetici","Simulatore di dati"],"languages":["ita"],"rights":["info:eu-repo/semantics/openAccess","license:PUBBLICO - Pubblico con Copyright","license uri:iris.PUB02"],"rights_urls":[],"identifier_entries":[]},"links":{"outbound_url":"https://hdl.handle.net/20.500.11769/657949","outbound_label":"Handle","outbound_source":"dc:identifier"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:contributor","label":"Contributor","values":["Leonardi, Rosario","FARINELLA, GIOVANNI MARIA"]},{"key":"dc:creator","label":"Author","values":["LEONARDI, Rosario"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2024-06-26"]},{"key":"dc:publisher","label":"Institution","values":["Università degli studi di Catania","place:Catania"]},{"key":"dc:type","label":"Dc Type","values":["info:eu-repo/semantics/doctoralThesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Hand-Object Interaction","Synthetic Data","Data simulator","Interazioni Egocentriche Mano-Oggetto","Dati sintetici","Simulatore di dati"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["ita"]},{"key":"dc:rights","label":"Dc Rights","values":["info:eu-repo/semantics/openAccess","license:PUBBLICO - Pubblico con Copyright","license uri:iris.PUB02"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["https://hdl.handle.net/20.500.11769/657949"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Comprendere il comportamento umano attraverso l'analisi di immagini e video egocentrici è cruciale nella computer vision, estendendosi a settori quali la sanità, l'analisi comportamentale industriale e l'interazione uomo-computer. I dispositivi indossabili svolgono un ruolo chiave in questo contesto, consentendo la raccolta dati con un impatto minimo sulle attività dell'utente. Analizzando tali dati, è possibile sviluppare sistemi intelligenti in grado di riconoscere le interazioni tra mano e oggetto, fornendo assistenza agli esseri umani in varie attività. Tali interazioni includono toccare, tenere, manipolare o spostare oggetti. In questa tesi, abbiamo formalizzato le interazioni tra mano e oggetto sotto forma di triplette (). Tale definizione concettuale comprende il riconoscimento di mani e oggetti interagiti nelle immagini, oltre alla previsione di un'etichetta di stato di contatto per ciascuna mano, distinguendo tra \"non in contatto\" e \"in contatto\". Comprendere le interazioni tra mano e oggetto nei settori industriali può guidare i lavoratori nelle attività di assemblaggio, migliorandone efficienza e sicurezza. Tuttavia, l'efficacia di tali sistemi è strettamente legata alla presenza di dati reali etichettati su larga scala, un processo complesso e costoso. L'utilizzo di dati sintetici automaticamente annotati rappresenta un'alternativa promettente, offrendo un metodo più rapido ed economico per la generazione e l'etichettatura dei dati. Tuttavia, l'integrazione di dati sintetici pone nuove sfide, come la fedeltà dei dati e il divario tra i due domini. Questa tesi dimostra il potenziale dell'uso di dati sintetici automaticamente etichettati per migliorare la rilevazione delle interazioni tra mano e oggetto, riducendo la dipendenza dai dati reali annotati. Per studiare adeguatamente questo problema, la nostra ricerca si è concentrata sullo sviluppo di nuovi simulatori per generare dati di interazione tra mano e oggetto e su metodologie per sfruttare in modo efficace tali informazioni. In aggiunta, abbiamo raccolto e reso pubblici dataset di benchmark (ENIGMA-51, EgoISM-HOI e HOI-Synth) per supportare la nostra analisi. Riteniamo che questi dataset saranno preziosi per la comunità di ricerca, agevolando future indagini in questo settore.","Understanding human behaviour through egocentric image and video analysis is crucial in computer vision, spanning domains like healthcare, industrial behaviour analysis, and human-computer interaction. Wearable devices play a pivotal role, enabling data collection while minimally limiting user activities. Analyzing this data enables the development of intelligent systems capable of recognizing HandObject Interactions, aiding humans in various tasks. These interactions include touching, holding, manipulating, or moving objects. In this thesis, we formalized Hand-Object Interactions as triplets in the form of (). This conceptual definition involves the recognition of hands and interacted objects in images and the prediction of a contact state label for each hand among ”not in contact” and ”in contact”. Understanding hand-object interactions in industrial domains can guide workers in assembly tasks, thereby enhancing efficiency and safety. However, the effectiveness of such systems depends on large real-world labelled data, a complex and costly process. Employing automatically annotated synthetic data is a promising alternative, offering a faster and cheaper data generation and labelling method. However, integrating synthetic data poses new challenges such as data fidelity and domain gap. This thesis demonstrates the potential of using automatically labelled synthetic data to enhance hand-object interaction detection, reducing reliance on annotated real-world data. To adequately study this problem, the research focused on developing novel simulators for generating hand-object interaction data and methodologies to leverage this data effectively. Additionally, we collected and publicly released benchmark datasets (ENIGMA-51, EgoISM-HOI, and HOI-Synth) to support our analysis. We believe these datasets will be valuable for the research community, facilitating future investigations in this domain."]},{"key":"dc:title","label":"Title","values":["Dati Sintetici per Comprendere le Interazioni Egocentriche Mano-Oggetto: Un'Esplorazione Approfondita"]}]}],"canonical_facts":{"dc:contributor":["Leonardi, Rosario","FARINELLA, GIOVANNI MARIA"],"dc:creator":["LEONARDI, Rosario"],"dc:date":["2024-06-26"],"dc:description":["Comprendere il comportamento umano attraverso l'analisi di immagini e video egocentrici è cruciale nella computer vision, estendendosi a settori quali la sanità, l'analisi comportamentale industriale e l'interazione uomo-computer. I dispositivi indossabili svolgono un ruolo chiave in questo contesto, consentendo la raccolta dati con un impatto minimo sulle attività dell'utente. Analizzando tali dati, è possibile sviluppare sistemi intelligenti in grado di riconoscere le interazioni tra mano e oggetto, fornendo assistenza agli esseri umani in varie attività. Tali interazioni includono toccare, tenere, manipolare o spostare oggetti. In questa tesi, abbiamo formalizzato le interazioni tra mano e oggetto sotto forma di triplette (). Tale definizione concettuale comprende il riconoscimento di mani e oggetti interagiti nelle immagini, oltre alla previsione di un'etichetta di stato di contatto per ciascuna mano, distinguendo tra \"non in contatto\" e \"in contatto\". Comprendere le interazioni tra mano e oggetto nei settori industriali può guidare i lavoratori nelle attività di assemblaggio, migliorandone efficienza e sicurezza. Tuttavia, l'efficacia di tali sistemi è strettamente legata alla presenza di dati reali etichettati su larga scala, un processo complesso e costoso. L'utilizzo di dati sintetici automaticamente annotati rappresenta un'alternativa promettente, offrendo un metodo più rapido ed economico per la generazione e l'etichettatura dei dati. Tuttavia, l'integrazione di dati sintetici pone nuove sfide, come la fedeltà dei dati e il divario tra i due domini. Questa tesi dimostra il potenziale dell'uso di dati sintetici automaticamente etichettati per migliorare la rilevazione delle interazioni tra mano e oggetto, riducendo la dipendenza dai dati reali annotati. Per studiare adeguatamente questo problema, la nostra ricerca si è concentrata sullo sviluppo di nuovi simulatori per generare dati di interazione tra mano e oggetto e su metodologie per sfruttare in modo efficace tali informazioni. In aggiunta, abbiamo raccolto e reso pubblici dataset di benchmark (ENIGMA-51, EgoISM-HOI e HOI-Synth) per supportare la nostra analisi. Riteniamo che questi dataset saranno preziosi per la comunità di ricerca, agevolando future indagini in questo settore.","Understanding human behaviour through egocentric image and video analysis is crucial in computer vision, spanning domains like healthcare, industrial behaviour analysis, and human-computer interaction. Wearable devices play a pivotal role, enabling data collection while minimally limiting user activities. Analyzing this data enables the development of intelligent systems capable of recognizing HandObject Interactions, aiding humans in various tasks. These interactions include touching, holding, manipulating, or moving objects. In this thesis, we formalized Hand-Object Interactions as triplets in the form of (). This conceptual definition involves the recognition of hands and interacted objects in images and the prediction of a contact state label for each hand among ”not in contact” and ”in contact”. Understanding hand-object interactions in industrial domains can guide workers in assembly tasks, thereby enhancing efficiency and safety. However, the effectiveness of such systems depends on large real-world labelled data, a complex and costly process. Employing automatically annotated synthetic data is a promising alternative, offering a faster and cheaper data generation and labelling method. However, integrating synthetic data poses new challenges such as data fidelity and domain gap. This thesis demonstrates the potential of using automatically labelled synthetic data to enhance hand-object interaction detection, reducing reliance on annotated real-world data. To adequately study this problem, the research focused on developing novel simulators for generating hand-object interaction data and methodologies to leverage this data effectively. Additionally, we collected and publicly released benchmark datasets (ENIGMA-51, EgoISM-HOI, and HOI-Synth) to support our analysis. We believe these datasets will be valuable for the research community, facilitating future investigations in this domain."],"dc:identifier":["https://hdl.handle.net/20.500.11769/657949"],"dc:language":["ita"],"dc:publisher":["Università degli studi di Catania","place:Catania"],"dc:rights":["info:eu-repo/semantics/openAccess","license:PUBBLICO - Pubblico con Copyright","license uri:iris.PUB02"],"dc:subject":["Hand-Object Interaction","Synthetic Data","Data simulator","Interazioni Egocentriche Mano-Oggetto","Dati sintetici","Simulatore di dati"],"dc:title":["Dati Sintetici per Comprendere le Interazioni Egocentriche Mano-Oggetto: Un'Esplorazione Approfondita"],"dc:type":["info:eu-repo/semantics/doctoralThesis"]},"updated_at":"2026-07-24T01:34:56Z"}