Accelerare la Realtà: Generazione di Ambienti Virtuali per la Navigazione di Robot in Ambienti Naturali Tramite Deep Learning

Lo sviluppo e l’allenamento di agenti autonomi per la navigazione all'aperto presenta sfide uniche, principalmente a causa delle complessità associate all’allenamento nel mondo reale. Alcune tra le principali difficoltà sono una raccolta dati laboriosa e costosa, il rischio di danni ai robot, una variabilità limitata delle scene e tempi di addestramento lenti. Inoltre, i problemi di sicurezza, nonché i vincoli etici e legali, possono complicare ulteriormente il processo. Questi problemi sottolineano l’importanza di sviluppare ambienti di simulazione robusti e realistici per addestrare sistemi di navigazione autonomi. Questa tesi, intitolata "Accelerare la Realtà: Generazione di Ambienti Virtuali per la Navigazione di Robot in Ambienti Naturali Tramite Deep Learning", affronta queste sfide esplorando la creazione di un ambiente di simulazione realistico, per allenare agenti autonomi, come valida alternativa al mondo reale. Tuttavia, l’efficacia di queste piattaforme dipende fortemente dalla loro capacità di imitare accuratamente le complessità e le dinamiche del mondo reale, sia in termini di fisica che di fedeltà visiva. Per raggiungere quest'ultimo, questa tesi enfatizza il ruolo della computer grafica nel migliorare il realismo di questi ambienti e approfondisce i progressi tecnologici necessari per creare una piattaforma di simulazione in grado di rispecchiare accuratamente il mondo reale. Introduciamo due nuovi approcci, SurfaceNet e ControlMat, per stimare le funzioni di distribuzione della riflettanza bidirezionale (SVBRDF) da singole immagini. Inoltre, presentiamo MatFuse, un modello di generazione controllabile per la creazione di materiali PBR. Questi approcci sfruttano modelli di deep learning per generare mappe di riflettanza di alta qualità, contribuendo così a una rappresentazione realistica di tali materiali nelle applicazioni di computer grafica. Affrontiamo anche l'elaborazione delle mesh 3D, una componente critica dell'ambiente visivo. Introduciamo un nuovo metodo, MeT, per la segmentazione semantica di mesh. Questo metodo sfrutta architetture basate su transformers per riconoscere e separare le parti di un oggetto 3D, un passaggio cruciale in molte applicazioni di computer grafica. Basandosi su questi approcci, progettati per catturare ed elaborare facilmente materiali e mesh, proponiamo MIDGARD, un ambiente di simulazione per l'addestramento di agenti autonomi in ambienti esterni non strutturati. MIDGARD presenta una pipeline di generazione procedurale del paesaggio, rendering di scene fotorealistiche basato su Unreal Engine e un'interfaccia Python compatibile con OpenAI Gym. Esploriamo l'applicazione dell'ambiente di simulazione sviluppato in attività di navigazione nel mondo reale proponendo un nuovo metodo per stimare la traversabilità da input RGB. Dimostriamo l'efficacia di MIDGARD come piattaforma di formazione e benchmarking per sistemi autonomi, e il loro successivo impiego nel mondo reale. In conclusione, questa tesi fornisce contributi significativi al campo dei sistemi autonomi e al loro addestramento in ambienti di simulazione realistici. Si concentra in particolare sulla proposta di tecniche moderne per catturare facilmente risorse reali (in particolare materiali) per popolare tali ambienti di simulazione, colmando il divario tra il mondo reale e gli ambienti di simulazione per la navigazione all'aperto. I metodi proposti e l'ambiente di simulazione sviluppato, MIDGARD, rappresentano passi significativi verso l'obiettivo di addestrare sistemi autonomi in un ambiente realistico, sim-to-real-ready.

Grantor dc:publisher

Università degli studi di Catania

Year dc:date

2023

Author dc:creator

• VECCHIO, GIUSEPPE

Contributors dc:contributor

• MUSCATO, Giovanni

• deep learning, computer graphics, autonomous navigation, simulation environment, 3D mesh segmentation
• deep learning, computer grafica, ambienti di simulazione, navigazione autonoma, segmentazione di mesh 3D

Statement dc:rights

• info:eu-repo/semantics/openAccess
• license:PUBBLICO - Pubblico con Copyright
• license uri:iris.PUB02

Language dc:language

ita

Handle dc:identifier

https://hdl.handle.net/20.500.11769/583613

OAI identifier oai:identifier

oai:www.iris.unict.it:20.500.11769/583613