Joint video saliency prediction for assessing driver attention to road elements for automotive [Predizione congiunta di salienza video per valutare l'attenzione del conducente agli elementi stradali per il automotive]

Simulare il comportamento umano per permettere alle macchine di percepire, decidere e agire con un’intelligenza a livello umano è un obiettivo perseguito da tempo. Decenni di ricerca e sviluppo hanno ridotto il divario tra immaginazione e realtà, alimentando le aspettative del pubblico riguardo all'emergere di agenti intelligenti, e perfino super-intelligenti, in diversi scenari della vita reale. Tuttavia, realizzare queste aspettative al di fuori degli studi cinematografici, senza l’aiuto degli effetti visivi (VFX), è tutt'altro che semplice. Sebbene la costruzione di una macchina o di un agente pienamente umanizzato, dotato di tutte le abilità umane, possa non essere raggiungibile a breve termine, molti sforzi di ricerca sono in corso per affrontare varie componenti essenziali per raggiungere questo ambizioso obiettivo. L’emulazione del Sistema Visivo Umano (HVS) è uno dei compiti più cruciali e complessi in questo contesto, con applicazioni che spaziano dal campo medico all’industriale, fino agli scenari della vita quotidiana. L'obiettivo principale nello sviluppo di sistemi che imitano l’HVS è consentire alle macchine di percepire l'ambiente come fanno gli esseri umani, facilitando la presa di decisioni basata sulla visione. Uno degli aspetti più affascinanti dell’HVS è la sua capacità di indirizzare l’attenzione verso le aree più importanti (regioni) di una scena visiva. La riproduzione di questa capacità, nota come predizione della salienza visiva (attenzione) (VSP), è diventata uno degli argomenti più discussi nella visione artificiale dell'ultimo decennio. Robot, software di analisi delle scene, sistemi di ragionamento visivo, veicoli intelligenti e sistemi di assistenza alla guida sono alcuni dei settori che traggono beneficio da questa simulazione. Nel campo dei trasporti intelligenti, la valutazione dell'attenzione umana attraverso la stima della salienza visiva gioca un ruolo cruciale. Studi hanno dimostrato che la disattenzione del conducente è una delle principali cause di incidenti stradali, rappresentando una grave minaccia per la sicurezza stradale. Stimare l’attenzione visiva dei conducenti, insieme ad altri fattori non visivi, può aiutare a identificare dove stanno guardando mentre sono alla guida. Queste informazioni possono essere utilizzate nei sistemi avanzati di assistenza alla guida per fornire avvisi tempestivi se i conducenti si avvicinano inconsapevolmente o distrattamente ad altri veicoli o pedoni. Inoltre, riprodurre accuratamente l’allocazione dell’attenzione del sistema visivo umano verso gli elementi stradali è essenziale per dotare i veicoli autonomi della capacità di percepire l'ambiente in modo simile agli esseri umani. Ciò, a sua volta, migliora la sicurezza di guida e favorisce una maggiore armonia tra veicoli a guida umana e autonoma sulla strada. Alla base della predizione dell’attenzione umana, indipendentemente dalla sua applicazione, vi è la capacità di prevedere efficacemente la salienza. In sostanza, la valutazione dell’attenzione visiva umana (del conducente) e la predizione della salienza si riferiscono allo stesso concetto, semplicemente espresso in modi diversi. Pertanto, migliorare le prestazioni dei modelli di predizione della salienza video è la chiave per rendere più efficiente il processo di stima dell'attenzione. Il rapido aumento della generazione di dati video ha spinto la ricerca verso classificazioni più sofisticate della predizione della salienza visiva. Di conseguenza, la predizione della salienza video (spazio-temporale) ha guadagnato un’importante attenzione accanto alla predizione della salienza statica (basata su immagini). Questo cambiamento è evidente anche nel campo della stima dell'attenzione del conducente. Mentre i primi studi si concentravano principalmente sulla predizione dell’attenzione basata su immagini di scene statiche, approcci più recenti si sono rivolti ai video delle scene. Questa transizione consente una stima più accurata dell'attenzione del conducente, tenendo conto dell'influenza di elementi stradali aggiuntivi in tempo reale. Per affrontare le sfide intrinseche dei dati video, ossia la modellazione delle informazioni spaziali e temporali e la comprensione della loro interrelazione su diversi fotogrammi di un video, nel corso degli anni i ricercatori hanno proposto molte tecniche. Tuttavia, permangono limitazioni, tra cui un’efficace modellazione spazio-temporale delle sequenze video e una bassa precisione nella predizione della salienza visiva e nella modellazione dell'attenzione umana (del conducente). In questa dissertazione, affrontiamo queste sfide da tre prospettive, presentate in tre parti. In primo luogo, sviluppiamo un modello di predizione della salienza video utilizzando i Vision Transformers (ViT), in linea con le tendenze attuali della ricerca. La motivazione dietro a questo sforzo è duplice: (1) raggiungere risultati allo stato dell'arte concentrandosi maggiormente sugli aspetti temporali dei dati video riducendo la complessità e il costo computazionale inutili, e (2) dimostrare le limitazioni dei ViT nel catturare le relazioni a lungo termine tra i fotogrammi video, che rappresenta una sfida critica per migliorare le prestazioni dei modelli VSP. Nella seconda parte, per la prima volta in questo campo, introduciamo e adattiamo i modelli di base video (VFM) per la progettazione di modelli VSP. Modellando in modo più efficace le dipendenze a lungo e a breve termine nei dati video, progettiamo due modelli che superano gli attuali modelli VSP di punta. Focalizzandoci sul potere dei VFM per il compito VSP, traiamo ispirazione dalla capacità del cervello umano di gestire le informazioni in modo efficiente. Nell'ultima parte della dissertazione, affrontiamo la sfida intrinseca dei modelli di base, ossia il loro eccessivo peso e numero di parametri, proponendo due modelli distillati basati sugli approcci VSP basati su VFM. Uno funge da modello generale di predizione dell'attenzione umana, mentre l'altro è specificamente esaminato per la stima dell'attenzione del conducente.

Grantor dc:publisher

Università degli studi di Catania

Year dc:date

2025

Author dc:creator

• MORADI, MORTEZA

Contributors dc:contributor

• SPAMPINATO, CONCETTO
• ARENA, Paolo Pietro

• Video Saliency Prediction
• Video Foundation Model
• Spatio-temporal Transformer
• Knowledge Distillation
• Driver Attention Prediction
• Video Understanding
• Previsione della Salienza Video
• Modello di Fondazione per Video
• Trasformatore Spazio-Temporale
• Distillazione della Conoscenza
• Predizione dell'Attenzione del Conducente
• Comprensione del Video

Statement dc:rights

• info:eu-repo/semantics/openAccess
• license:NON PUBBLICO - Accesso privato/ristretto
• license uri:iris.PRI01

Language dc:language

eng

Handle dc:identifier

https://hdl.handle.net/20.500.11769/691043

OAI identifier oai:identifier

oai:www.iris.unict.it:20.500.11769/691043