Evaluation and Enhancement of Qualitative Spatial Reasoning in LLMs via Symbolic Fine-Tuning

Η παρούσα διπλωματική εργασία εξετάζει την ενσωμάτωση τυπικής ποιοτικής γεωχωρικής συλλογιστικής σε σύγχρονα Μοντέλα Μεγάλης Συλλογιστικής (Large Reasoning Models- LRMs). Παρά την εντυπωσιακή πρόοδο των Μεγάλων Γλωσσικών Μοντέλων (LLMs), η ικανότητά τους να εκτελούν τυπική συμβολική λογική σε αυστηρά γεωχωρικά πλαίσια παραμένει μια σημαντική πρόκληση. Η έρευνα επικεντρώνεται στο μοντέλο DeepSeek-R1-Distill-Qwen-7B, διερευνώντας εάν η αρχιτεκτονική του μπορεί να εκπαιδευτεί (fine-tuning) ώστε να εσωτερικεύσει τους κανόνες του Λογισμού Κύριων Κατευθύνσεων (Cardinal Direction Calculus- CDC). Η μεθοδολογία περιλαμβάνει μια εκτενή πειραματική μελέτη τριών φάσεων, χρησιμοποιώντας ένα σύνολο δεδομένων (ground truth) των διοικητικών μονάδων του Ηνωμένου Βασιλείου. Οι αρχικές αξιολογήσεις zero-shot (Φάσεις 1 και 2) αποκάλυψαν μια θεμελιώδη «Διοικητική Τυφλότητα» (Administrative Blindness) των προ-εκπαιδευμένων μοντέλων σχετικά με τα λεπτομερή τοπικά σύνορα. Για την αντιμετώπιση αυτού του προβλήματος, υλοποιήθηκε μια διαδικασία συμβολικής εκπαίδευσης (Φάση 3), αποτελούμενη από δεκατρία πειράματα fine-tuning με χρήση δομημένων ιχνών συλλογιστικής (reasoning traces). Τα αποτελέσματα δείχνουν ότι, ενώ η εκπαίδευση ενσωματώνει την απαραίτητη λογική, τα πρότυπα συλλογιστικής παραμένουν συχνά λανθάνοντα λόγω «Ασυμφωνίας Συμπερασμού» (Inference Mismatch). Με την εφαρμογή της «Ευθυγράμμισης Χρόνου Συμπερασμού» (Inference-Time Alignment), τον αυστηρό συγχρονισμό των προτροπών ελέγχου με τη δομή της εκπαίδευσης, το μοντέλο επέτυχε μέγιστη ακρίβεια 86.00% στις θετικές χωρικές σχέσεις (entailment). Ωστόσο, η επιτυχία αυτή ανέδειξε το «Παράδοξο της Πίεσης του Εναύσματος» (Trigger Pressure Paradox), όπου τα δομικά στοιχεία που ξεκλειδώνουν τη συμβολική λογική προκαλούν ταυτόχρονα προκατάληψη επιβεβαίωσης στο μοντέλο. Η εργασία αυτή συμβάλλει στο πεδίο του GeoAI παρέχοντας μια μεθοδολογία νευρωνικής-συμβολικής ευθυγράμμισης, αποδεικνύοντας ότι τα LRMs μπορούν να εκτελέσουν τυπικούς χωρικούς λογισμούς όταν διατηρείται δομική συνέπεια μεταξύ εκπαίδευσης και συμπερασματολογίας.

Authors dc:creator

• ΧΕΛΒΑΤΖΗ ΔΗΜΗΤΡΑ
• CHELVATZI DIMITRA

• Θετικές Επιστήμες
• Science

Language dc:language

English

Identifier

uoadl:5373390

OAI identifier oai:identifier

oai:lib.uoa.gr:uoadl:5373390