COCOON: A MULTIMODAL PLATFORM TO SUPPORT SOCIAL EMOTIONAL LEARNING FOR CHILDREN WITH AUTISM SPECTRUM DISORDER

Presentiamo Cocoon una piattaforma digitale per un nuovo intervento multimodale per i bambini affetti da disturbi dello spettro autistico (ASD). Cocoon supporta un intervento terapeutico per bambini con ASD a supporto dello sviluppo di abilità sociali, in particolare per il riconoscimento e la sintesi delle emozioni universali di felicità, rabbia, paura, tristezza. La piattaforma offre una progressione nella difficoltà di esercizio. Al livello più semplice, i bambini riconosceranno le emozioni osservando alcune immagini, che possono essere dei pittogrammi dello standard Picture Exchange Communication System (PECS) o possono essere delle foto del volto di un attore; ad un livello superiore di difficoltà viene mostrato un video del volto di un attore che mostra la transizione dall’espressione neutra all’espressione di una particolare emozione, ottenuto attraverso il morphing, e animazioni dei pittogrammi PECS. Inoltre, vengono offerte storie animate che riguardano situazioni di vita quotidiana, dove ciascuna storia è chiaramente associata ad una emozione universale; un avatar, con la forma di un simpatico robot, è il protagonista delle storie. Il robot esprime le emozioni universali con espressioni stilizzate del viso e gesti. Il robot ha anche il compito di guidare il bambino attraverso l’applicazione e si complimenta con il piccolo utente quando un esercizio viene svolto. Oltre ai complimenti, il rinforzo positivo è costituito da musica e un’animazione ricca. Con questa applicazione esploriamo il ruolo della musica e del colore per rafforzare la comprensione delle emozioni. Al termine di ogni esercizio viene riprodotta una musica opportunamente associata all'emozione mostrata a schermo. Il robot cambia il proprio colore assumendo una colorazione associata all'emozione che sta esprimendo. Nelle storie animate, la musica viene riprodotta in base alla situazione, mentre il robot e anche gli oggetti nella stanza cambiano colore in base all’emozione ritratta. Per valutare l'usabilità della piattaforma abbiamo effettuato uno studio pilota con in totale 19 bambini in due centri a Milano specializzati nell’intervento per bambini con autismo. Lo studio si è svolto in due round distinti, R1 con 8 bambini con diagnosi di autismo a medio funzionamento e R2 con 11 bambini con diagnosi di autismo ad alto funzionamento. Abbiamo valutato l’usabilità dell’applicazione con diversi questionari e domande aperte, i punteggi del questionario SUS mostrano che i terapisti e i bambini utilizzerebbero l'applicazione con un punteggio medio di 86,875 per R1 e 96,75 per R2. I bambini in generale hanno apprezzato la presenza della musica e le animazioni con il cambio di colore. I terapisti hanno osservato che la musica e il colore nella maggior parte dei casi erano facilmente associati dai bambini al contenuto emotivo proposto, soprattutto quando hanno guardato le storie animate. Alcuni bambini si sono sentiti particolarmente a loro agio ed hanno iniziato a fare confidenze al terapista sul loro stato emotivo. Questo approccio multimodale di intervento mediante un’applicazione digitale, con animazioni, con musica e con colori, si è rivelato quindi promettente al fine di supportare i terapisti nella terapia sociale per bambini con ASD.

Grantor dc:publisher

Università degli Studi di Milano

Year dc:date

2023

Author dc:creator

• CHITTI, ELEONORA

Contributors dc:contributor

• advisor: N. A. Borghese ; coordinator: R. Sassi
• E. Chitti
• BORGHESE, NUNZIO ALBERTO
• SASSI, ROBERTO

• autism
• ASD
• serious game
• exergame
• emotion recognition
• social skill
• multimodal feedback
• Settore INF/01 - Informatica

Statement dc:rights

• info:eu-repo/semantics/openAccess

Language dc:language

eng

Identifier

http://dx.doi.org/10.13130/chitti-eleonora_phd2023-11-28
10.13130/chitti-eleonora_phd2023-11-28

OAI identifier oai:identifier

oai:air.unimi.it:2434/1015931