Paradigmi ispirati da scienze neurocognitive per il Continual Learning

Emulare l'apprendimento umano è una delle componenti fondamenti della ricerca sull'intelligenza artificiale (IA). Tuttavia, nonostante i notevoli progressi compiuti negli ultimi decenni, l'essere umano continua a ottenere performance superiori alle macchine in molti task di computer vision. La motivazione di questa discrepanza potrebbe avere origine nel fatto di non avere ancora conoscenza completa dei processi di apprendimento umano, caratterizzato dalla capacità di essere resistente ai cambiamenti ai task e ai dati, e di accrescere nel tempo. Le reti neurali artificiali (ANN), al contrario, sono altamente suscettibili ai cambiamenti nella distribuzione dei dati nel tempo, una mancanza che ostacola lo sviluppo di agenti intelligenti in grado di adattarsi rapidamente a differenti contesti ed esperienze. Il Continual Learning, (CL) è un paradigma della IA che si concentra sull'abilità dei modelli di apprendere in maniera continuata nel tempo, acquisendo nuova conoscenza e, al tempo stesso, mantenendo e ampliando le informazioni precedentemente acquisite. I modelli di AI tradizionali, quando sottoposti a nuovi dati o task, tipicamente soffrono del fenomeno del "Catastrophic Forgetting", in quanto l'introduzione di nuove informazioni da acquisire possono sovrascrivere la conoscenza precedentemente acquisita, o addirittura cancellarla. L'essenza del CL consiste nel cercare di contrastare questa limitazione, proponendo algoritmi e strategie che consentano ai modelli di integrare new conoscenza senza compromettere l'integrità della già esistente base di conoscenza. Ispirandoci alla notevole capacità del sistema cognitivo umano di apprendere, adattarsi e ricordare per decenni, in questa tesi intendiamo proporre nuove soluzioni per i sistemi di IA che riflettano questa adattabilità e conservazione a lungo termine. L'ambizione è quella di contribuire a inaugurare una nuova era dell'IA in cui i sistemi non solo si evolvono in risposta ai cambiamenti del panorama dei dati, ma diventano anche depositari della conoscenza accumulata per lunghi periodi. Proponiamo di affrontare il problema del Forgetting da due prospettive. Nella prima parte, progettiamo nuovi metodi ispirati alla capacità umana di attingere dalla conoscenza esistente per affrontare nuovi task ed elaborare soluzioni efficaci. L'esperienza passata funge da prezioso bagaglio di informazioni che possono essere sfruttate quando si affrontano nuovi problemi. Emuliamo la conoscenza pregressa all'interno di una rete neurale impiegando un flusso ausiliario di dati, che può contenere features rilevanti sia per il task corrente che per quelli successivi. In alternativa, proponiamo un approccio ibrido di Transfer Learning, basato su una rete gemella pre-addestrata, che propaga la conoscenza acquisita precedentemente durante il processo di continual learning. Successivamente presentiamo una strategia efficiente per associare il task primario di classificazione delle immagini con un task ortogonale che ne guida l'addestramento, producendo conoscenza aggiuntiva utile senza la necessità di utilizzare dati ausiliari esterni. Nella seconda parte di questa tesi, presentiamo due soluzioni innovative, largamente ispirate alle teorie cognitive, che cercano di replicare nelle reti artificiali alcuni fondamentali processi cognitivi umani. Il primo approccio sfrutta il meccanismo del sistema visivo umano, mostrando la notevole proprietà dell'attenzione selettiva di essere resistente al forgetting. Questa robustezza intrinseca del task di predizione della salienza si adatta perfettamente al contesto del continual learning, migliorando le prestazioni di un classificatore in continual. Infine, introduciamo un nuovo schema di apprendimento veglia-sonno, in cui la fase di acquisizione di nuove conoscenze del task corrente (veglia) si alterna a una fase dedicata al consolidamento e alla preparazione per le esperienze successive (sonno). Questa emulazione rispecchia il ruolo del sogno nel facilitare il processo di apprendimento e nel migliorare la capacità di generalizzazione.

Grantor dc:publisher

Università degli studi di Catania

Year dc:date

2023

Author dc:creator

• BELLITTO, GIOVANNI

Contributors dc:contributor

• SPAMPINATO, CONCETTO

• Artificial Intelligence, Deep Learning, Continual Learning , Computer Vision
• Intelligenza Artificiale, Continual Learning, Deep Learning, Reti Neurali Artificiali, Computer Vision

Statement dc:rights

• info:eu-repo/semantics/openAccess
• license:PUBBLICO - Pubblico con Copyright
• license uri:iris.PUB02

Language dc:language

ita

Handle dc:identifier

https://hdl.handle.net/20.500.11769/581967

OAI identifier oai:identifier

oai:www.iris.unict.it:20.500.11769/581967