{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:5426636"},"canonical_url":"https://search.dev.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:5426636","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Neural Architecture Search for Multimodal Fusion","abstract":"Τα βαθιά νευρωνικά δίκτυα έχουν αποδειχθεί εξαιρετικά αποτελεσματικά σε ένα ευρύ φά- σμα εφαρμογών, συμπεριλαμβανομένης της ταξινόμησης εικόνων και βίντεο και της μηχα- νικής μετάφρασης. Καθώς η απόδοση ενός μοντέλου εξαρτάται σε μεγάλο βαθμό από το εύρος των δεδομένων εισόδου του, ένα φυσικό επόμενο βήμα για την περαιτέρω ενίσχυση των δυνατοτήτων τους είναι ο συνδυασμός πολλαπλών πηγών δεδομένων (modalities), μια διαδικασία γνωστή ως πολυτροπική σύντηξη (multimodal fusion). Παρόλο που έχει αποδειχθεί ότι τα πολυτροπικά συστήματα μπορούν να επιτύχουν βελτιωμένη απόδοση σε σύγκριση με τα μονοτροπικά, ο σχεδιασμός βέλτιστων αρχιτεκτονικών σύντηξης πα- ραμένει μια πρόκληση λόγω του τεράστιου αριθμού σχεδιαστικών επιλογών. Η παρού- σα εργασία διερευνά τον αυτοματοποιημένο σχεδιασμό πολυτροπικών νευρωνικών δικτύ- ων μέσω της ανάπτυξης ενός πλαισίου Αναζήτησης Νευρωνικής Αρχιτεκτονικής (Neural Architecture Search - NAS). Η προτεινόμενη μεθοδολογία εξετάζει συστηματικά διάφορες στρατηγικές ενοποίησης, επιλέγοντας δυναμικά μονοτροπικές αναπαραστάσεις σε πολ- λαπλά ιεραρχικά επίπεδα. Επιπλέον, βελτιστοποιεί τις διαμορφώσεις του πολυτροπικού δικτύου αντλώντας στοιχεία από έναν προκαθορισμένο χώρο αναζήτησης μονοτροπικών πράξεων και πράξεων σύντηξης. Η αρχιτεκτονική αναζήτηση καθοδηγείται από έναν Ε- ξελικτικό Αλγόριθμο (Evolutionary Algorithm - EA), ο οποίος βελτιώνει επαναληπτικά τη δομή του δικτύου, δίνοντας προτεραιότητα σε υποψήφια μοντέλα υψηλής καταλληλότητας (high-fitness) για τη διασφάλιση της σύγκλισης προς βέλτιστες λύσεις. Επιπροσθέτως, μηχανισμοί Πρόωρης Εξόδου (Early Exit - EE) ενσωματώνονται στρατηγικά σε κομβικά σημεία της δομής για την ενίσχυση της ροής πληροφορίας των παραγώγων (gradients) κατά την αναζήτηση και την ελαχιστοποίηση της καθυστέρησης (latency) κατά την εξαγω- γή συμπερασμάτων.Για την επικύρωση της αποτελεσματικότητας αυτής της προσέγγισης, το πλαίσιο αξιολογήθηκε παρέχοντας μια συγκριτική ανάλυση της απόδοσης με και χωρίς την ενσωμάτωση μηχανισμών πρόωρης εξόδου. Οι πειραματικές δοκιμές διεξήχθησαν στο σύνολο δεδομένων MM-IMDb. Η αξιολόγηση πραγματοποιήθηκε με τη χρήση δύο διακριτών μετρικών: του σταθμισμένου δείκτη F1 (weighted F1-score) και μιας δευτερεύ- ουσας μετρικής σχεδιασμένης να λαμβάνει υπόψη τους περιορισμούς πόρων. Αυτή η δευτερεύουσα μετρική προσαρμόζει τον σταθμισμένο δείκτη F1 σε σχέση με τις συνολικές πράξεις κινητής υποδιαστολής (FLOPs), διασφαλίζοντας ότι η διαδικασία επιλογής προ- κρίνει μοντέλα που επιτυγχάνουν μια βέλτιστη ισορροπία μεταξύ προβλεπτικής ακρίβειας και ενεργειακής αποδοτικότητας.","abstract_html":"Τα βαθιά νευρωνικά δίκτυα έχουν αποδειχθεί εξαιρετικά αποτελεσματικά σε ένα ευρύ φά- σμα εφαρμογών, συμπεριλαμβανομένης της ταξινόμησης εικόνων και βίντεο και της μηχα- νικής μετάφρασης. Καθώς η απόδοση ενός μοντέλου εξαρτάται σε μεγάλο βαθμό από το εύρος των δεδομένων εισόδου του, ένα φυσικό επόμενο βήμα για την περαιτέρω ενίσχυση των δυνατοτήτων τους είναι ο συνδυασμός πολλαπλών πηγών δεδομένων (modalities), μια διαδικασία γνωστή ως πολυτροπική σύντηξη (multimodal fusion). Παρόλο που έχει αποδειχθεί ότι τα πολυτροπικά συστήματα μπορούν να επιτύχουν βελτιωμένη απόδοση σε σύγκριση με τα μονοτροπικά, ο σχεδιασμός βέλτιστων αρχιτεκτονικών σύντηξης πα- ραμένει μια πρόκληση λόγω του τεράστιου αριθμού σχεδιαστικών επιλογών. Η παρού- σα εργασία διερευνά τον αυτοματοποιημένο σχεδιασμό πολυτροπικών νευρωνικών δικτύ- ων μέσω της ανάπτυξης ενός πλαισίου Αναζήτησης Νευρωνικής Αρχιτεκτονικής (Neural Architecture Search - NAS). Η προτεινόμενη μεθοδολογία εξετάζει συστηματικά διάφορες στρατηγικές ενοποίησης, επιλέγοντας δυναμικά μονοτροπικές αναπαραστάσεις σε πολ- λαπλά ιεραρχικά επίπεδα. Επιπλέον, βελτιστοποιεί τις διαμορφώσεις του πολυτροπικού δικτύου αντλώντας στοιχεία από έναν προκαθορισμένο χώρο αναζήτησης μονοτροπικών πράξεων και πράξεων σύντηξης. Η αρχιτεκτονική αναζήτηση καθοδηγείται από έναν Ε- ξελικτικό Αλγόριθμο (Evolutionary Algorithm - EA), ο οποίος βελτιώνει επαναληπτικά τη δομή του δικτύου, δίνοντας προτεραιότητα σε υποψήφια μοντέλα υψηλής καταλληλότητας (high-fitness) για τη διασφάλιση της σύγκλισης προς βέλτιστες λύσεις. Επιπροσθέτως, μηχανισμοί Πρόωρης Εξόδου (Early Exit - EE) ενσωματώνονται στρατηγικά σε κομβικά σημεία της δομής για την ενίσχυση της ροής πληροφορίας των παραγώγων (gradients) κατά την αναζήτηση και την ελαχιστοποίηση της καθυστέρησης (latency) κατά την εξαγω- γή συμπερασμάτων.Για την επικύρωση της αποτελεσματικότητας αυτής της προσέγγισης, το πλαίσιο αξιολογήθηκε παρέχοντας μια συγκριτική ανάλυση της απόδοσης με και χωρίς την ενσωμάτωση μηχανισμών πρόωρης εξόδου. Οι πειραματικές δοκιμές διεξήχθησαν στο σύνολο δεδομένων MM-IMDb. Η αξιολόγηση πραγματοποιήθηκε με τη χρήση δύο διακριτών μετρικών: του σταθμισμένου δείκτη F1 (weighted F1-score) και μιας δευτερεύ- ουσας μετρικής σχεδιασμένης να λαμβάνει υπόψη τους περιορισμούς πόρων. Αυτή η δευτερεύουσα μετρική προσαρμόζει τον σταθμισμένο δείκτη F1 σε σχέση με τις συνολικές πράξεις κινητής υποδιαστολής (FLOPs), διασφαλίζοντας ότι η διαδικασία επιλογής προ- κρίνει μοντέλα που επιτυγχάνουν μια βέλτιστη ισορροπία μεταξύ προβλεπτικής ακρίβειας και ενεργειακής αποδοτικότητας.","abstract_has_math":false,"creators":["Κωτσόπουλος Δημήτριος","Kotsopoulos Dimitrios"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2026,"date_issued":"2026","date_published":"2026","updated_at":"2026-08-21T16:41:59Z","subjects":["Θετικές Επιστήμες","Science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5426636"],"render_values":[{"text":"uoadl:5426636","href":null,"code":true}]}]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5426636","outbound_label":"Repository record","outbound_source":"dc:identifier"},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A5426636","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Κωτσόπουλος Δημήτριος","Kotsopoulos Dimitrios"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2026"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Θετικές Επιστήμες","Science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5426636","https://pergamos.lib.uoa.gr/uoa/dl/object/5426636"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Τα βαθιά νευρωνικά δίκτυα έχουν αποδειχθεί εξαιρετικά αποτελεσματικά σε ένα ευρύ φά- σμα εφαρμογών, συμπεριλαμβανομένης της ταξινόμησης εικόνων και βίντεο και της μηχα- νικής μετάφρασης. Καθώς η απόδοση ενός μοντέλου εξαρτάται σε μεγάλο βαθμό από το εύρος των δεδομένων εισόδου του, ένα φυσικό επόμενο βήμα για την περαιτέρω ενίσχυση των δυνατοτήτων τους είναι ο συνδυασμός πολλαπλών πηγών δεδομένων (modalities), μια διαδικασία γνωστή ως πολυτροπική σύντηξη (multimodal fusion). Παρόλο που έχει αποδειχθεί ότι τα πολυτροπικά συστήματα μπορούν να επιτύχουν βελτιωμένη απόδοση σε σύγκριση με τα μονοτροπικά, ο σχεδιασμός βέλτιστων αρχιτεκτονικών σύντηξης πα- ραμένει μια πρόκληση λόγω του τεράστιου αριθμού σχεδιαστικών επιλογών. Η παρού- σα εργασία διερευνά τον αυτοματοποιημένο σχεδιασμό πολυτροπικών νευρωνικών δικτύ- ων μέσω της ανάπτυξης ενός πλαισίου Αναζήτησης Νευρωνικής Αρχιτεκτονικής (Neural Architecture Search - NAS). Η προτεινόμενη μεθοδολογία εξετάζει συστηματικά διάφορες στρατηγικές ενοποίησης, επιλέγοντας δυναμικά μονοτροπικές αναπαραστάσεις σε πολ- λαπλά ιεραρχικά επίπεδα. Επιπλέον, βελτιστοποιεί τις διαμορφώσεις του πολυτροπικού δικτύου αντλώντας στοιχεία από έναν προκαθορισμένο χώρο αναζήτησης μονοτροπικών πράξεων και πράξεων σύντηξης. Η αρχιτεκτονική αναζήτηση καθοδηγείται από έναν Ε- ξελικτικό Αλγόριθμο (Evolutionary Algorithm - EA), ο οποίος βελτιώνει επαναληπτικά τη δομή του δικτύου, δίνοντας προτεραιότητα σε υποψήφια μοντέλα υψηλής καταλληλότητας (high-fitness) για τη διασφάλιση της σύγκλισης προς βέλτιστες λύσεις. Επιπροσθέτως, μηχανισμοί Πρόωρης Εξόδου (Early Exit - EE) ενσωματώνονται στρατηγικά σε κομβικά σημεία της δομής για την ενίσχυση της ροής πληροφορίας των παραγώγων (gradients) κατά την αναζήτηση και την ελαχιστοποίηση της καθυστέρησης (latency) κατά την εξαγω- γή συμπερασμάτων.Για την επικύρωση της αποτελεσματικότητας αυτής της προσέγγισης, το πλαίσιο αξιολογήθηκε παρέχοντας μια συγκριτική ανάλυση της απόδοσης με και χωρίς την ενσωμάτωση μηχανισμών πρόωρης εξόδου. Οι πειραματικές δοκιμές διεξήχθησαν στο σύνολο δεδομένων MM-IMDb. Η αξιολόγηση πραγματοποιήθηκε με τη χρήση δύο διακριτών μετρικών: του σταθμισμένου δείκτη F1 (weighted F1-score) και μιας δευτερεύ- ουσας μετρικής σχεδιασμένης να λαμβάνει υπόψη τους περιορισμούς πόρων. Αυτή η δευτερεύουσα μετρική προσαρμόζει τον σταθμισμένο δείκτη F1 σε σχέση με τις συνολικές πράξεις κινητής υποδιαστολής (FLOPs), διασφαλίζοντας ότι η διαδικασία επιλογής προ- κρίνει μοντέλα που επιτυγχάνουν μια βέλτιστη ισορροπία μεταξύ προβλεπτικής ακρίβειας και ενεργειακής αποδοτικότητας.","Deep neural networks have proven highly effective across a wide range of applications, including image and video classification and machine translation. Since a model’s per- formance is highly dependent on the scope of its input, a natural next step toward fur- ther enhancing their capabilities is the combination of multiple data modalities, a process known as multimodal fusion. While it has been demonstrated that multimodal systems can achieve improved performance compared to unimodal ones, designing optimal fusion ar- chitectures remains a challenging task due to the vast number of design choices involved. This thesis investigates the automated design of multimodal neural networks through the development of a Neural Architecture Search (NAS) framework. The proposed method- ology systematically explores various integration strategies by dynamically selecting uni- modal representations across multiple hierarchical levels. Furthermore, it optimizes mul- timodal network configurations by drawing from a predefined search space of unimodal and fusion operations. The architectural search is driven by an Evolutionary Algorithm (EA) that iteratively refines the network structure, prioritizing high-fitness candidates to facilitate convergence toward optimal solutions. Additionally, Early Exit (EE) mechanisms are strategically integrated at key structural points to enhance gradient information flow during search and minimize inference latency. To validate the efficacy of this approach, the framework was evaluated, providing a comparative analysis of performance both with and without the inclusion of early exit mechanisms. To validate the proposed framework, experiments were conducted on the MM-IMDb dataset. Evaluation was performed using two distinct metrics: the weighted F1-score and a secondary metric designed to account for resource constraints. This secondary measure adjusts the weighted F1-score relative to the total Floating Point Operations (FLOPs), ensuring that the selection process prior- itizes models that achieve an optimal balance between predictive accuracy and energy efficiency."]},{"key":"dc:title","label":"Title","values":["Neural Architecture Search for Multimodal Fusion"]}]}],"canonical_facts":{"dc:creator":["Κωτσόπουλος Δημήτριος","Kotsopoulos Dimitrios"],"dc:date":["2026"],"dc:description":["Τα βαθιά νευρωνικά δίκτυα έχουν αποδειχθεί εξαιρετικά αποτελεσματικά σε ένα ευρύ φά- σμα εφαρμογών, συμπεριλαμβανομένης της ταξινόμησης εικόνων και βίντεο και της μηχα- νικής μετάφρασης. Καθώς η απόδοση ενός μοντέλου εξαρτάται σε μεγάλο βαθμό από το εύρος των δεδομένων εισόδου του, ένα φυσικό επόμενο βήμα για την περαιτέρω ενίσχυση των δυνατοτήτων τους είναι ο συνδυασμός πολλαπλών πηγών δεδομένων (modalities), μια διαδικασία γνωστή ως πολυτροπική σύντηξη (multimodal fusion). Παρόλο που έχει αποδειχθεί ότι τα πολυτροπικά συστήματα μπορούν να επιτύχουν βελτιωμένη απόδοση σε σύγκριση με τα μονοτροπικά, ο σχεδιασμός βέλτιστων αρχιτεκτονικών σύντηξης πα- ραμένει μια πρόκληση λόγω του τεράστιου αριθμού σχεδιαστικών επιλογών. Η παρού- σα εργασία διερευνά τον αυτοματοποιημένο σχεδιασμό πολυτροπικών νευρωνικών δικτύ- ων μέσω της ανάπτυξης ενός πλαισίου Αναζήτησης Νευρωνικής Αρχιτεκτονικής (Neural Architecture Search - NAS). Η προτεινόμενη μεθοδολογία εξετάζει συστηματικά διάφορες στρατηγικές ενοποίησης, επιλέγοντας δυναμικά μονοτροπικές αναπαραστάσεις σε πολ- λαπλά ιεραρχικά επίπεδα. Επιπλέον, βελτιστοποιεί τις διαμορφώσεις του πολυτροπικού δικτύου αντλώντας στοιχεία από έναν προκαθορισμένο χώρο αναζήτησης μονοτροπικών πράξεων και πράξεων σύντηξης. Η αρχιτεκτονική αναζήτηση καθοδηγείται από έναν Ε- ξελικτικό Αλγόριθμο (Evolutionary Algorithm - EA), ο οποίος βελτιώνει επαναληπτικά τη δομή του δικτύου, δίνοντας προτεραιότητα σε υποψήφια μοντέλα υψηλής καταλληλότητας (high-fitness) για τη διασφάλιση της σύγκλισης προς βέλτιστες λύσεις. Επιπροσθέτως, μηχανισμοί Πρόωρης Εξόδου (Early Exit - EE) ενσωματώνονται στρατηγικά σε κομβικά σημεία της δομής για την ενίσχυση της ροής πληροφορίας των παραγώγων (gradients) κατά την αναζήτηση και την ελαχιστοποίηση της καθυστέρησης (latency) κατά την εξαγω- γή συμπερασμάτων.Για την επικύρωση της αποτελεσματικότητας αυτής της προσέγγισης, το πλαίσιο αξιολογήθηκε παρέχοντας μια συγκριτική ανάλυση της απόδοσης με και χωρίς την ενσωμάτωση μηχανισμών πρόωρης εξόδου. Οι πειραματικές δοκιμές διεξήχθησαν στο σύνολο δεδομένων MM-IMDb. Η αξιολόγηση πραγματοποιήθηκε με τη χρήση δύο διακριτών μετρικών: του σταθμισμένου δείκτη F1 (weighted F1-score) και μιας δευτερεύ- ουσας μετρικής σχεδιασμένης να λαμβάνει υπόψη τους περιορισμούς πόρων. Αυτή η δευτερεύουσα μετρική προσαρμόζει τον σταθμισμένο δείκτη F1 σε σχέση με τις συνολικές πράξεις κινητής υποδιαστολής (FLOPs), διασφαλίζοντας ότι η διαδικασία επιλογής προ- κρίνει μοντέλα που επιτυγχάνουν μια βέλτιστη ισορροπία μεταξύ προβλεπτικής ακρίβειας και ενεργειακής αποδοτικότητας.","Deep neural networks have proven highly effective across a wide range of applications, including image and video classification and machine translation. Since a model’s per- formance is highly dependent on the scope of its input, a natural next step toward fur- ther enhancing their capabilities is the combination of multiple data modalities, a process known as multimodal fusion. While it has been demonstrated that multimodal systems can achieve improved performance compared to unimodal ones, designing optimal fusion ar- chitectures remains a challenging task due to the vast number of design choices involved. This thesis investigates the automated design of multimodal neural networks through the development of a Neural Architecture Search (NAS) framework. The proposed method- ology systematically explores various integration strategies by dynamically selecting uni- modal representations across multiple hierarchical levels. Furthermore, it optimizes mul- timodal network configurations by drawing from a predefined search space of unimodal and fusion operations. The architectural search is driven by an Evolutionary Algorithm (EA) that iteratively refines the network structure, prioritizing high-fitness candidates to facilitate convergence toward optimal solutions. Additionally, Early Exit (EE) mechanisms are strategically integrated at key structural points to enhance gradient information flow during search and minimize inference latency. To validate the efficacy of this approach, the framework was evaluated, providing a comparative analysis of performance both with and without the inclusion of early exit mechanisms. To validate the proposed framework, experiments were conducted on the MM-IMDb dataset. Evaluation was performed using two distinct metrics: the weighted F1-score and a secondary metric designed to account for resource constraints. This secondary measure adjusts the weighted F1-score relative to the total Floating Point Operations (FLOPs), ensuring that the selection process prior- itizes models that achieve an optimal balance between predictive accuracy and energy efficiency."],"dc:identifier":["uoadl:5426636","https://pergamos.lib.uoa.gr/uoa/dl/object/5426636"],"dc:language":["English"],"dc:subject":["Θετικές Επιστήμες","Science"],"dc:title":["Neural Architecture Search for Multimodal Fusion"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-08-21T16:41:59Z"}