Codificare il Corpo: uno Studio dell’Approccio Cognitivo e Socio-Semiotico nella Creazione di un Dataset Multimodale in Lingua dei Segni Italiana (LIS).

Codificare il corpo e descrivere i suoi movimenti durante l’atto di segnare è un tema ampiamente discusso nel campo degli studi sulle lingue dei segni. Infatti, fin dagli albori della ricerca contemporanea sulle lingue dei segni (Stokoe, 1960), sono stati intrapresi studi mirati a comprendere come catturare e categorizzare in modo efficace il discorso segnato. Il presente lavoro, a partire da questa premessa e applicando una prospettiva interdisciplinare, ha come obiettivo la presentazione di un dataset multimodale in Lingua dei Segni Italiana (LIS), descrivendo i processi di raccolta e annotazione computazionale dei dati. Nella ricerca sulle lingue dei segni, la dicotomia tra prospettive di contrasto e continuità rispetto alle lingue vocali ha storicamente caratterizzato il campo. In quest’ottica, la tesi propone un approccio sfidante e mediano, integrando punti caratteristici di prospettive formaliste e funzionaliste nello studio delle lingue dei segni. L’obiettivo è trarre da queste prospettive aspetti e approcci che possano essere vantaggiosamente integrati per favorire una raccolta e descrizione interdisciplinare, attuale e accessibile della LIS. Posizionandosi teoricamente nel quadro cognitivo e socio-semiotico della descrizione delle lingue dei segni (Volterra et al., 2022), questo lavoro mira a proporre linee guida e buone pratiche per la raccolta e annotazione computazionale di materiali video in LIS, tenendo conto delle peculiarità della lingua stessa, come la sua multimodalità e multilinearità, e considerando anche l'uso quotidiano che la comunità segnante italiana fa di essa. In questa prospettiva, la lingua non può essere separata dal suo contesto socioculturale e storico (Russo Cardona, 2004b), né dalla sua natura embodied (Lakoff & Johnson, 1980), poiché è attraverso il corpo che noi esseri umani viviamo e descriviamo le nostre esperienze. Tale affermazione assume ulteriore importanza quando l’oggetto di studio è una lingua mediata dal canale visivo-gestuale, in cui è il corpo stesso a costruire significato. A partire da queste premesse, questa tesi introduce un metodo di raccolta video per la LIS. Il metodo presentato si basa sull’uso di strumenti di acquisizione video multimodali e sincronizzati, come sensori RADAR e videocamere, consentendo una raccolta dettagliata di informazioni su tutte le parti del corpo coinvolte nell’atto di segnare, che si tratti di elementi manuali o corporei La successiva annotazione, sviluppata utilizzando il software ELAN, avviene su diversi livelli, adottando etichette vocali in italiano e inglese, insieme a un sistema di annotazione specifico per le lingue dei segni: Typannot (Bianchini, 2023). La natura interdisciplinare del progetto si riflette inoltre nell’accessibilità delle annotazioni, consentendo a diversi utenti di accedere alle informazioni contenute nei video in LIS, indipendentemente dalla familiarità con la LIS. Questa tesi dimostra dunque che il sistema proposto di raccolta dati, utilizzando sensori RADAR e strumenti di acquisizione video delle telecamere, insieme a tecniche integrate di annotazione di corpora multimodali, è in grado di riflettere con precisione la complessa natura di una lingua dei segni. Questo approccio va oltre lo stato attuale dell’arte offrendo un percorso per lo sviluppo di sistemi di riconoscimento delle lingue dei segni e per la realizzazione di strumenti di traduzione automatica più efficaci.

Grantor dc:publisher

Università degli studi di Catania

Year dc:date

2024

Author dc:creator

• CALIGIORE, GAIA

Contributors dc:contributor

• FONTANA, SABINA

• Italian Sign Language (LIS)
• Multimodal Dataset
• Computational Annotation
• Cognitive and Socio-Semiotic Approach
• Lingua dei Segni Italiana (LIS)
• Dataset Multimodale
• Annotazione Computazionale
• Approccio Cognitivo e Socio-Semiotico

Statement dc:rights

• info:eu-repo/semantics/openAccess
• license:PUBBLICO - Pubblico con Copyright
• license uri:iris.PUB02

Language dc:language

ita

Handle dc:identifier

https://hdl.handle.net/20.500.11769/641507

OAI identifier oai:identifier

oai:www.iris.unict.it:20.500.11769/641507