{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:5360173"},"canonical_url":"https://search.dev.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:5360173","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"A Spatial Attention Mechanism for Motion Prediction in Autonomous Driving","abstract":"Η ακριβής και αποδοτική πρόβλεψη κίνησης αποτελεί βασικό στοιχείο για την ασφαλή λειτουργία αυτόνομων οχημάτων, τα οποία πρέπει να προβλέπουν τις μελλοντικές τροχιές των γύρω χρηστών του δρόμου σε σύνθετα αστικά περιβάλλοντα. Πρόσφατες αρχιτεκτονικές μετασχηματιστών, όπως το HPTR, προσφέρουν ένα ισχυρό και αποδοτικό αλγόριθμο για πρόβλεψη τροχιών, συνδυάζοντας πληροφορία από τον περιβάλλοντα χώρο και τους έτερους χρήστες (πράκτορες). Στην παρούσα διπλωματική βασιζόμαστε στο HPTR και μελετάμε πώς μπορεί να ενισχυθεί ο μηχανισμός προσοχής του μέσω ενός Νευρωνικού Δικτύου που προβλέπει ένα Μοντέλο Μίγματος Γκαουσιανών. Κύρια συνεισφορά μας αποτελεί ο Μηχανισμός Χωρικής Πυκνότητας (Spatial Density Module, SDM), ο οποίος μοντελοποιεί τον χώρο αλληλεπιδράσεων με ένα Μοντέλο Μίγματος Γκαουσιανών και χρησιμοποιεί την κανονικοποιημένη πυκνότητά του ως φίλτρο πάνω στους χάρτες προσοχής. Η προκύπτουσα παραλλαγή, Spatial Density Transformer (SDT), διατηρεί την αρχιτεκτονική κωδικοποιητή-αποκωδικοποιητή, τις παραμέτρους και τη διαδικασία εκπαίδευσης του HPTR και αλλάζει μόνο τον τρόπο με τον οποίο κατανέμεται η προσοχή στις πιθανές περιοχές αλληλεπίδρασης. Πραγματοποιούμε πειράματα στο σύνολο δεδομένων Waymo Open Motion και εστιάζουμε στην ανάλυση της συμπεριφοράς του Μηχανισμού Χωρικής Πυκνότητας. Μελετώντας τον αριθμό των συνιστωσών του μίγματος και τις υπερπαραμέτρους του SDM με τη χρήση απλών διαγνωστικών μετρικών για τα μίγματα (component utilization, χωρική διασπορά και εντροπία), παρατηρούμε ότι η εκτιμώμενη πυκνότητα τείνει να συγκεντρώνεται σε περιοχές όπου υπάρχουν άλλα οχήματα αντί για κενές περιοχές. Αυτό υποδηλώνει ότι το SDM κωδικοποιεί με ουσιαστικό τρόπο την πυκνότητα των αλληλεπιδράσεων. Ως προς τις μετρικές πρόβλεψης του WOMD, το SDT παρουσιάζει ικανοποιητική απόδοση, αλλά δεν πραγματοποιούμε πλήρη σύγκριση με το HPTR υπό ακριβώς ίδιες συνθήκες εκπαίδευσης, επομένως δεν μπορούν να εξαχθούν ασφαλή συμπεράσματα για τυχόν βελτίωση της ευστοχίας του. Η κύρια συνεισφορά της εργασίας είναι η σχεδίαση και η ανάλυση του πυκνωτικά καθοδηγούμενου μηχανισμού προσοχής και των διαγνωστικών του, και όχι η επίτευξη βελτίωσης σε επίπεδο benchmark. Τα πειραματικά αποτελέσματα δείχνουν ότι η προσθήκη ενός εκμαθημένου, πυκνωτικού φίλτρου προσοχής σε συνδυασμό με μια αποδοτική αρχιτεκτονική μετασχηματιστή αποτελεί μια ενδιαφέρουσα κατεύθυνση που μπορεί να μελετηθεί περαιτέρω σε μελλοντική έρευνα, η οποία θα περιλαμβάνει παραλλαγές όπου τα μίγματα περιορίζονται ώστε να συμπεριφέρονται σαν περιοχές k nearest neighbor όπως στο HPTR ώστε να κατανοηθεί καλύτερα πόσο χρήσιμη είναι στην πράξη η προσοχή βασισμένη σε χωρική πυκνότητα.","abstract_html":"Η ακριβής και αποδοτική πρόβλεψη κίνησης αποτελεί βασικό στοιχείο για την ασφαλή λειτουργία αυτόνομων οχημάτων, τα οποία πρέπει να προβλέπουν τις μελλοντικές τροχιές των γύρω χρηστών του δρόμου σε σύνθετα αστικά περιβάλλοντα. Πρόσφατες αρχιτεκτονικές μετασχηματιστών, όπως το HPTR, προσφέρουν ένα ισχυρό και αποδοτικό αλγόριθμο για πρόβλεψη τροχιών, συνδυάζοντας πληροφορία από τον περιβάλλοντα χώρο και τους έτερους χρήστες (πράκτορες). Στην παρούσα διπλωματική βασιζόμαστε στο HPTR και μελετάμε πώς μπορεί να ενισχυθεί ο μηχανισμός προσοχής του μέσω ενός Νευρωνικού Δικτύου που προβλέπει ένα Μοντέλο Μίγματος Γκαουσιανών. Κύρια συνεισφορά μας αποτελεί ο Μηχανισμός Χωρικής Πυκνότητας (Spatial Density Module, SDM), ο οποίος μοντελοποιεί τον χώρο αλληλεπιδράσεων με ένα Μοντέλο Μίγματος Γκαουσιανών και χρησιμοποιεί την κανονικοποιημένη πυκνότητά του ως φίλτρο πάνω στους χάρτες προσοχής. Η προκύπτουσα παραλλαγή, Spatial Density Transformer (SDT), διατηρεί την αρχιτεκτονική κωδικοποιητή-αποκωδικοποιητή, τις παραμέτρους και τη διαδικασία εκπαίδευσης του HPTR και αλλάζει μόνο τον τρόπο με τον οποίο κατανέμεται η προσοχή στις πιθανές περιοχές αλληλεπίδρασης. Πραγματοποιούμε πειράματα στο σύνολο δεδομένων Waymo Open Motion και εστιάζουμε στην ανάλυση της συμπεριφοράς του Μηχανισμού Χωρικής Πυκνότητας. Μελετώντας τον αριθμό των συνιστωσών του μίγματος και τις υπερπαραμέτρους του SDM με τη χρήση απλών διαγνωστικών μετρικών για τα μίγματα (component utilization, χωρική διασπορά και εντροπία), παρατηρούμε ότι η εκτιμώμενη πυκνότητα τείνει να συγκεντρώνεται σε περιοχές όπου υπάρχουν άλλα οχήματα αντί για κενές περιοχές. Αυτό υποδηλώνει ότι το SDM κωδικοποιεί με ουσιαστικό τρόπο την πυκνότητα των αλληλεπιδράσεων. Ως προς τις μετρικές πρόβλεψης του WOMD, το SDT παρουσιάζει ικανοποιητική απόδοση, αλλά δεν πραγματοποιούμε πλήρη σύγκριση με το HPTR υπό ακριβώς ίδιες συνθήκες εκπαίδευσης, επομένως δεν μπορούν να εξαχθούν ασφαλή συμπεράσματα για τυχόν βελτίωση της ευστοχίας του. Η κύρια συνεισφορά της εργασίας είναι η σχεδίαση και η ανάλυση του πυκνωτικά καθοδηγούμενου μηχανισμού προσοχής και των διαγνωστικών του, και όχι η επίτευξη βελτίωσης σε επίπεδο benchmark. Τα πειραματικά αποτελέσματα δείχνουν ότι η προσθήκη ενός εκμαθημένου, πυκνωτικού φίλτρου προσοχής σε συνδυασμό με μια αποδοτική αρχιτεκτονική μετασχηματιστή αποτελεί μια ενδιαφέρουσα κατεύθυνση που μπορεί να μελετηθεί περαιτέρω σε μελλοντική έρευνα, η οποία θα περιλαμβάνει παραλλαγές όπου τα μίγματα περιορίζονται ώστε να συμπεριφέρονται σαν περιοχές k nearest neighbor όπως στο HPTR ώστε να κατανοηθεί καλύτερα πόσο χρήσιμη είναι στην πράξη η προσοχή βασισμένη σε χωρική πυκνότητα.","abstract_has_math":false,"creators":["Χρήστου Νεκτάριος","Christou Nektarios"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2026,"date_issued":"2026","date_published":"2026","updated_at":"2026-07-24T01:01:53Z","subjects":["Θετικές Επιστήμες","Science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5360173"],"render_values":[{"text":"uoadl:5360173","href":null,"code":true}]}]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5360173","outbound_label":"Repository record","outbound_source":"dc:identifier"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Χρήστου Νεκτάριος","Christou Nektarios"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2026"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Θετικές Επιστήμες","Science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5360173","https://pergamos.lib.uoa.gr/uoa/dl/object/5360173"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Η ακριβής και αποδοτική πρόβλεψη κίνησης αποτελεί βασικό στοιχείο για την ασφαλή λειτουργία αυτόνομων οχημάτων, τα οποία πρέπει να προβλέπουν τις μελλοντικές τροχιές των γύρω χρηστών του δρόμου σε σύνθετα αστικά περιβάλλοντα. Πρόσφατες αρχιτεκτονικές μετασχηματιστών, όπως το HPTR, προσφέρουν ένα ισχυρό και αποδοτικό αλγόριθμο για πρόβλεψη τροχιών, συνδυάζοντας πληροφορία από τον περιβάλλοντα χώρο και τους έτερους χρήστες (πράκτορες). Στην παρούσα διπλωματική βασιζόμαστε στο HPTR και μελετάμε πώς μπορεί να ενισχυθεί ο μηχανισμός προσοχής του μέσω ενός Νευρωνικού Δικτύου που προβλέπει ένα Μοντέλο Μίγματος Γκαουσιανών. Κύρια συνεισφορά μας αποτελεί ο Μηχανισμός Χωρικής Πυκνότητας (Spatial Density Module, SDM), ο οποίος μοντελοποιεί τον χώρο αλληλεπιδράσεων με ένα Μοντέλο Μίγματος Γκαουσιανών και χρησιμοποιεί την κανονικοποιημένη πυκνότητά του ως φίλτρο πάνω στους χάρτες προσοχής. Η προκύπτουσα παραλλαγή, Spatial Density Transformer (SDT), διατηρεί την αρχιτεκτονική κωδικοποιητή-αποκωδικοποιητή, τις παραμέτρους και τη διαδικασία εκπαίδευσης του HPTR και αλλάζει μόνο τον τρόπο με τον οποίο κατανέμεται η προσοχή στις πιθανές περιοχές αλληλεπίδρασης. Πραγματοποιούμε πειράματα στο σύνολο δεδομένων Waymo Open Motion και εστιάζουμε στην ανάλυση της συμπεριφοράς του Μηχανισμού Χωρικής Πυκνότητας. Μελετώντας τον αριθμό των συνιστωσών του μίγματος και τις υπερπαραμέτρους του SDM με τη χρήση απλών διαγνωστικών μετρικών για τα μίγματα (component utilization, χωρική διασπορά και εντροπία), παρατηρούμε ότι η εκτιμώμενη πυκνότητα τείνει να συγκεντρώνεται σε περιοχές όπου υπάρχουν άλλα οχήματα αντί για κενές περιοχές. Αυτό υποδηλώνει ότι το SDM κωδικοποιεί με ουσιαστικό τρόπο την πυκνότητα των αλληλεπιδράσεων. Ως προς τις μετρικές πρόβλεψης του WOMD, το SDT παρουσιάζει ικανοποιητική απόδοση, αλλά δεν πραγματοποιούμε πλήρη σύγκριση με το HPTR υπό ακριβώς ίδιες συνθήκες εκπαίδευσης, επομένως δεν μπορούν να εξαχθούν ασφαλή συμπεράσματα για τυχόν βελτίωση της ευστοχίας του. Η κύρια συνεισφορά της εργασίας είναι η σχεδίαση και η ανάλυση του πυκνωτικά καθοδηγούμενου μηχανισμού προσοχής και των διαγνωστικών του, και όχι η επίτευξη βελτίωσης σε επίπεδο benchmark. Τα πειραματικά αποτελέσματα δείχνουν ότι η προσθήκη ενός εκμαθημένου, πυκνωτικού φίλτρου προσοχής σε συνδυασμό με μια αποδοτική αρχιτεκτονική μετασχηματιστή αποτελεί μια ενδιαφέρουσα κατεύθυνση που μπορεί να μελετηθεί περαιτέρω σε μελλοντική έρευνα, η οποία θα περιλαμβάνει παραλλαγές όπου τα μίγματα περιορίζονται ώστε να συμπεριφέρονται σαν περιοχές k nearest neighbor όπως στο HPTR ώστε να κατανοηθεί καλύτερα πόσο χρήσιμη είναι στην πράξη η προσοχή βασισμένη σε χωρική πυκνότητα.","Accurate and efficient motion forecasting is essential for safe autonomous driving, where an ego vehicle must anticipate the future trajectories of surrounding agents in complex urban environments. Recent transformer-based architectures such as HPTR provide a strong and lightweight backbone for trajectory prediction by jointly encoding map and agent information. In this thesis we build directly on HPTR and study how to augment its attention mechanism with an explicit spatial density prior. Our main contribution is a Spatial Density Module (SDM) that models the interaction space with a Gaussian Mixture Model and uses its normalized density as a soft, spatially aware filter on attention maps. This gives a Spatial Density Transformer (SDT) variant that keeps HPTR's encoder-decoder design, number of parameters, and training setup, and changes only the way attention is distributed over possible interaction regions. We conduct experiments on the Waymo Open Motion Dataset and focus the analysis on the behavior of the Spatial Density Module. In an ablation study over the number of mixture components and SDM hyperparameters, and using simple diagnostic metrics for the mixtures (component utilization, spatial variance, and entropy), we observe that the learned density tends to place mass in regions where there are agents and map elements instead of empty areas. This suggests that the SDM does learn a meaningful notion of interaction density. In terms of standard forecasting metrics on WOMD, SDT reaches reasonable performance, but we do not carry out a full head to head comparison with HPTR under identical conditions, so we cannot draw firm conclusions about relative gains or losses. The main contribution of this work is therefore the design and analysis of the density-aware attention mechanism and its diagnostics, rather than a clear improvement in benchmark scores. The experiments indicate that adding a learned, density based attention filter on top of an existing lightweight transformer is a viable direction that could be explored further in future work, including variants where the mixtures are constrained to behave like k nearest neighbor neighborhoods as in HPTR to better understand how useful density-aware attention is in practice."]},{"key":"dc:title","label":"Title","values":["A Spatial Attention Mechanism for Motion Prediction in Autonomous Driving"]}]}],"canonical_facts":{"dc:creator":["Χρήστου Νεκτάριος","Christou Nektarios"],"dc:date":["2026"],"dc:description":["Η ακριβής και αποδοτική πρόβλεψη κίνησης αποτελεί βασικό στοιχείο για την ασφαλή λειτουργία αυτόνομων οχημάτων, τα οποία πρέπει να προβλέπουν τις μελλοντικές τροχιές των γύρω χρηστών του δρόμου σε σύνθετα αστικά περιβάλλοντα. Πρόσφατες αρχιτεκτονικές μετασχηματιστών, όπως το HPTR, προσφέρουν ένα ισχυρό και αποδοτικό αλγόριθμο για πρόβλεψη τροχιών, συνδυάζοντας πληροφορία από τον περιβάλλοντα χώρο και τους έτερους χρήστες (πράκτορες). Στην παρούσα διπλωματική βασιζόμαστε στο HPTR και μελετάμε πώς μπορεί να ενισχυθεί ο μηχανισμός προσοχής του μέσω ενός Νευρωνικού Δικτύου που προβλέπει ένα Μοντέλο Μίγματος Γκαουσιανών. Κύρια συνεισφορά μας αποτελεί ο Μηχανισμός Χωρικής Πυκνότητας (Spatial Density Module, SDM), ο οποίος μοντελοποιεί τον χώρο αλληλεπιδράσεων με ένα Μοντέλο Μίγματος Γκαουσιανών και χρησιμοποιεί την κανονικοποιημένη πυκνότητά του ως φίλτρο πάνω στους χάρτες προσοχής. Η προκύπτουσα παραλλαγή, Spatial Density Transformer (SDT), διατηρεί την αρχιτεκτονική κωδικοποιητή-αποκωδικοποιητή, τις παραμέτρους και τη διαδικασία εκπαίδευσης του HPTR και αλλάζει μόνο τον τρόπο με τον οποίο κατανέμεται η προσοχή στις πιθανές περιοχές αλληλεπίδρασης. Πραγματοποιούμε πειράματα στο σύνολο δεδομένων Waymo Open Motion και εστιάζουμε στην ανάλυση της συμπεριφοράς του Μηχανισμού Χωρικής Πυκνότητας. Μελετώντας τον αριθμό των συνιστωσών του μίγματος και τις υπερπαραμέτρους του SDM με τη χρήση απλών διαγνωστικών μετρικών για τα μίγματα (component utilization, χωρική διασπορά και εντροπία), παρατηρούμε ότι η εκτιμώμενη πυκνότητα τείνει να συγκεντρώνεται σε περιοχές όπου υπάρχουν άλλα οχήματα αντί για κενές περιοχές. Αυτό υποδηλώνει ότι το SDM κωδικοποιεί με ουσιαστικό τρόπο την πυκνότητα των αλληλεπιδράσεων. Ως προς τις μετρικές πρόβλεψης του WOMD, το SDT παρουσιάζει ικανοποιητική απόδοση, αλλά δεν πραγματοποιούμε πλήρη σύγκριση με το HPTR υπό ακριβώς ίδιες συνθήκες εκπαίδευσης, επομένως δεν μπορούν να εξαχθούν ασφαλή συμπεράσματα για τυχόν βελτίωση της ευστοχίας του. Η κύρια συνεισφορά της εργασίας είναι η σχεδίαση και η ανάλυση του πυκνωτικά καθοδηγούμενου μηχανισμού προσοχής και των διαγνωστικών του, και όχι η επίτευξη βελτίωσης σε επίπεδο benchmark. Τα πειραματικά αποτελέσματα δείχνουν ότι η προσθήκη ενός εκμαθημένου, πυκνωτικού φίλτρου προσοχής σε συνδυασμό με μια αποδοτική αρχιτεκτονική μετασχηματιστή αποτελεί μια ενδιαφέρουσα κατεύθυνση που μπορεί να μελετηθεί περαιτέρω σε μελλοντική έρευνα, η οποία θα περιλαμβάνει παραλλαγές όπου τα μίγματα περιορίζονται ώστε να συμπεριφέρονται σαν περιοχές k nearest neighbor όπως στο HPTR ώστε να κατανοηθεί καλύτερα πόσο χρήσιμη είναι στην πράξη η προσοχή βασισμένη σε χωρική πυκνότητα.","Accurate and efficient motion forecasting is essential for safe autonomous driving, where an ego vehicle must anticipate the future trajectories of surrounding agents in complex urban environments. Recent transformer-based architectures such as HPTR provide a strong and lightweight backbone for trajectory prediction by jointly encoding map and agent information. In this thesis we build directly on HPTR and study how to augment its attention mechanism with an explicit spatial density prior. Our main contribution is a Spatial Density Module (SDM) that models the interaction space with a Gaussian Mixture Model and uses its normalized density as a soft, spatially aware filter on attention maps. This gives a Spatial Density Transformer (SDT) variant that keeps HPTR's encoder-decoder design, number of parameters, and training setup, and changes only the way attention is distributed over possible interaction regions. We conduct experiments on the Waymo Open Motion Dataset and focus the analysis on the behavior of the Spatial Density Module. In an ablation study over the number of mixture components and SDM hyperparameters, and using simple diagnostic metrics for the mixtures (component utilization, spatial variance, and entropy), we observe that the learned density tends to place mass in regions where there are agents and map elements instead of empty areas. This suggests that the SDM does learn a meaningful notion of interaction density. In terms of standard forecasting metrics on WOMD, SDT reaches reasonable performance, but we do not carry out a full head to head comparison with HPTR under identical conditions, so we cannot draw firm conclusions about relative gains or losses. The main contribution of this work is therefore the design and analysis of the density-aware attention mechanism and its diagnostics, rather than a clear improvement in benchmark scores. The experiments indicate that adding a learned, density based attention filter on top of an existing lightweight transformer is a viable direction that could be explored further in future work, including variants where the mixtures are constrained to behave like k nearest neighbor neighborhoods as in HPTR to better understand how useful density-aware attention is in practice."],"dc:identifier":["uoadl:5360173","https://pergamos.lib.uoa.gr/uoa/dl/object/5360173"],"dc:language":["English"],"dc:subject":["Θετικές Επιστήμες","Science"],"dc:title":["A Spatial Attention Mechanism for Motion Prediction in Autonomous Driving"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-07-24T01:01:53Z"}