CUSTOMIZING IMMERSIVE SPATIAL AUDIO: FROM INDIVIDUALIZED BINAURAL RENDERING TO REAL-VIRTUAL ACOUSTIC BLENDING

La simulazione accurata del suono spaziale è essenziale per creare esperienze audio immersive, con applicazioni che spaziano dalla realtà virtuale e aumentata, agli apparecchi acustici, alle teleconferenze e ai videogiochi. Questa tesi discute diversi contributi al campo dell'audio spaziale immersivo, con particolare attenzione all'ascolto personalizzato. I temi affrontati da questi contributi sono due: la personalizzazione della sintesi binaurale e il miscelamento acustico tra reale e virtuale. Nel dominio della sintesi binaurale, la tesi discute alcuni approcci per replicare l'interazione acustica tra i suoni e il padiglione auricolare, il quale ha una forma unica. Ciò è necessario per ottenere simulazione dell'audio audio spaziale che imiti fedelmente le sorgenti sonore reali. A questo proposito, viene presentato un metodo per personalizzare le funzioni di trasferimento legate alla testa (head-related transfer functions, HRTF) in base ai parametri antropometrici del padiglione auricolare. La tesi presenta anche nuovi parametri del padiglione auricolare per caratterizzarne più in dettaglio l'anatomia, migliorando così l'individualizzazione delle HRTF. Inoltre, viene presentato un metodo per stimare l'accoppiamento acustico personale tra il padiglione auricolare e le cuffie in base all'antropometria del padiglione. L'obiettivo è quello di fornire una compensazione personalizzata delle risposte delle cuffie per garantirne la trasparenza. Per quanto riguarda il miscelamento acustico tra reale e virtuale, la tesi presenta un metodo per far avvicinare automaticamente un effetto di riverberazione artificiale a una risposta all'impulso della stanza (room impulse response, RIR) di riferimento. In questo modo, la riverberazione di sorgenti sonore virtuali arbitrarie è coerente con le proprietà acustiche di un ambiente esistente. Il metodo è stato valutato in un esperimento di co-immersione di sorgenti sonore virtuali all'interno di un ambiente di virtualità aumentata. Infine, la tesi propone strumenti e dataset pertinenti alla ricerca sull'audio spaziale. In particolare, viene presentato un riverberatore artificiale appartenente alla classe delle scattering delay network (SDN). Inoltre, vengono discussi un due dataset per la simulazione di ambienti sonori virtuali ecologici, tra cui un dataset di RIR e un dataset di voci per la generazione di conversazioni.

Grantor dc:publisher

Università degli Studi di Milano

Year dc:date

2024

Author dc:creator

• FANTINI, DAVIDE

Contributors dc:contributor

• supervisor: F. Avanzini ; co-supervisor: S. Ntalampiras ; PhD coordinator: R. Sassi
• D. Fantini
• AVANZINI, FEDERICO
• NTALAMPIRAS, STAVROS
• SASSI, ROBERTO

• spatial audio
• head-related transfer function
• headphone transfer function
• binaural
• artificial reverberation
• Ambisonic
• extended reality
• virtual reality
• audio augmented reality
• audio augmented virtuality
• Settore INFO-01/A - Informatica

Statement dc:rights

• info:eu-repo/semantics/openAccess

Language dc:language

eng

Identifier

http://dx.doi.org/10.13130/fantini-davide_phd2024-12-04
10.13130/fantini-davide_phd2024-12-04

OAI identifier oai:identifier

oai:air.unimi.it:2434/1119700