Diffusion Modeling for Synthesizer Programming

Σε αυτή τη διπλωματική μελετάμε την εφαρμογή παραγωγικών μοντέλων διάχυσης (Diffusion Models) σε δεδομένα παραμέτρων για συνθεσάιζερ. Τα συνθεσάιζερ είναι προγράμματα που χρησιμοποιούνται για τη δημιουργία ήχων και μουσικής, και δοθέντος κάποιων παραμέτρων δημιουργούν τονικούς και μη ήχους. Δείχνουμε, πως είναι εφικτό, να παράξουμε καινούργιους ρεαλιστικούς ήχους κάνοντας χρήση μοντέλων διάχυσης, που έχουν εκπαιδευτεί σε δεδομένα παραμέτρων. Επίσης, χρησιμοποιώντας μοντέλα Transformer, μπορούμε να κάνουμε τη διαδικασία παραγωγής να είναι εξαρτώμενη από κάποιον ήχο χρησιμοποιώντας ηχητικές εμβαπτίσεις τύπου CLAP, και με τη τεχνική της καθοδήγησης χωρίς ταξινομητή (Classifier-Free Guidance), να επηρεάσουμε τον τελικό ήχο που βγαίνει από το συνθεσάιζερ. Δείχνουμε πως η δειγματοληψία με τη μέθοδο DDIM μπορεί να αυξήσει τη ταχύτητα της παραγωγικής διαδικασίας, χωρίς να έχει αρνητικό αντίκτυπο στις επιδόσεις των μοντέλων. Προκειμένου να βγάλουμε συμπεράσματα για την επίδραση ορισμένων υπερ-παραμέτρων του προβλήματος, κάνουμε μια συγκριτική ανάλυση μεταξύ διαφορετικών μοντέλων. Επίσης, εισάγουμε μια παραλλαγή του προβλήματος, όπου το μοντέλο διάχυσης είναι επίσης εξαρτώμενο από τον αλγόριθμο του συνθεσάιζερ, η οποία βελτιώνει την απόδοση του μοντέλου. Η διττή φύση των CLAP εμβαπτίσεων μας επιτρέπει, να καθοδηγήσουμε τη παραγωγική διαδικασία δίνοντας γραπτές εντολές στο μοντέλο. Προκειμένου να εναρμονήσουμε τη αναπαράσταση του κειμένου στα CLAP embeddings με τις ηχητικές ικανότητες του συνθεσάιζερ, εκπαιδεύουμε έναν Adapter για τον κωδικοποιητή κειμένου του CLAP μοντέλου. Επίσης, μελετάμε την επίδραση ορισμένων γνωστών τεχνικών για τα μοντέλα διάχυσης όπως το RePaint, τη μέθοδο παρεμβολής και την επεξεργασία με γραπτό κείμενο. Τέλος, εξετάζουμε το αποτέλεσμα που προκύπτει, όταν χρησιμοποιούμε ήχους εκτός κατανομής για τη καθοδήγηση του μοντέλου.

Authors dc:creator

• ΤΣΙΑΚΟΥΛΙΑΣ-ΜΑΝΕΤΤΑΣ ΔΗΜΗΤΡΙΟΣ
• TSIAKOULIAS-MANETTAS DIMITRIOS

• Θετικές Επιστήμες
• Science

Language dc:language

Ελληνικά, English, Greek

Identifier

uoadl:5359890

OAI identifier oai:identifier

oai:lib.uoa.gr:uoadl:5359890