Neural Architecture Search for Multimodal Fusion

Τα βαθιά νευρωνικά δίκτυα έχουν αποδειχθεί εξαιρετικά αποτελεσματικά σε ένα ευρύ φά- σμα εφαρμογών, συμπεριλαμβανομένης της ταξινόμησης εικόνων και βίντεο και της μηχα- νικής μετάφρασης. Καθώς η απόδοση ενός μοντέλου εξαρτάται σε μεγάλο βαθμό από το εύρος των δεδομένων εισόδου του, ένα φυσικό επόμενο βήμα για την περαιτέρω ενίσχυση των δυνατοτήτων τους είναι ο συνδυασμός πολλαπλών πηγών δεδομένων (modalities), μια διαδικασία γνωστή ως πολυτροπική σύντηξη (multimodal fusion). Παρόλο που έχει αποδειχθεί ότι τα πολυτροπικά συστήματα μπορούν να επιτύχουν βελτιωμένη απόδοση σε σύγκριση με τα μονοτροπικά, ο σχεδιασμός βέλτιστων αρχιτεκτονικών σύντηξης πα- ραμένει μια πρόκληση λόγω του τεράστιου αριθμού σχεδιαστικών επιλογών. Η παρού- σα εργασία διερευνά τον αυτοματοποιημένο σχεδιασμό πολυτροπικών νευρωνικών δικτύ- ων μέσω της ανάπτυξης ενός πλαισίου Αναζήτησης Νευρωνικής Αρχιτεκτονικής (Neural Architecture Search - NAS). Η προτεινόμενη μεθοδολογία εξετάζει συστηματικά διάφορες στρατηγικές ενοποίησης, επιλέγοντας δυναμικά μονοτροπικές αναπαραστάσεις σε πολ- λαπλά ιεραρχικά επίπεδα. Επιπλέον, βελτιστοποιεί τις διαμορφώσεις του πολυτροπικού δικτύου αντλώντας στοιχεία από έναν προκαθορισμένο χώρο αναζήτησης μονοτροπικών πράξεων και πράξεων σύντηξης. Η αρχιτεκτονική αναζήτηση καθοδηγείται από έναν Ε- ξελικτικό Αλγόριθμο (Evolutionary Algorithm - EA), ο οποίος βελτιώνει επαναληπτικά τη δομή του δικτύου, δίνοντας προτεραιότητα σε υποψήφια μοντέλα υψηλής καταλληλότητας (high-fitness) για τη διασφάλιση της σύγκλισης προς βέλτιστες λύσεις. Επιπροσθέτως, μηχανισμοί Πρόωρης Εξόδου (Early Exit - EE) ενσωματώνονται στρατηγικά σε κομβικά σημεία της δομής για την ενίσχυση της ροής πληροφορίας των παραγώγων (gradients) κατά την αναζήτηση και την ελαχιστοποίηση της καθυστέρησης (latency) κατά την εξαγω- γή συμπερασμάτων.Για την επικύρωση της αποτελεσματικότητας αυτής της προσέγγισης, το πλαίσιο αξιολογήθηκε παρέχοντας μια συγκριτική ανάλυση της απόδοσης με και χωρίς την ενσωμάτωση μηχανισμών πρόωρης εξόδου. Οι πειραματικές δοκιμές διεξήχθησαν στο σύνολο δεδομένων MM-IMDb. Η αξιολόγηση πραγματοποιήθηκε με τη χρήση δύο διακριτών μετρικών: του σταθμισμένου δείκτη F1 (weighted F1-score) και μιας δευτερεύ- ουσας μετρικής σχεδιασμένης να λαμβάνει υπόψη τους περιορισμούς πόρων. Αυτή η δευτερεύουσα μετρική προσαρμόζει τον σταθμισμένο δείκτη F1 σε σχέση με τις συνολικές πράξεις κινητής υποδιαστολής (FLOPs), διασφαλίζοντας ότι η διαδικασία επιλογής προ- κρίνει μοντέλα που επιτυγχάνουν μια βέλτιστη ισορροπία μεταξύ προβλεπτικής ακρίβειας και ενεργειακής αποδοτικότητας.

Authors dc:creator

• Κωτσόπουλος Δημήτριος
• Kotsopoulos Dimitrios

• Θετικές Επιστήμες
• Science

Language dc:language

English

Identifier

uoadl:5426636

OAI record oai:identifier

https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A5426636