A Cross-Linguistic Evaluation of Cardinal Direction Reasoning in LLMs

Το πεδίο που διερευνάται αφορά τον βαθμό στον οποίο ένα Μεγάλο Γλωσσικό Μοντέλο είναι ικανό να επιδεικνύει χωρικό συλλογισμό, ειδικότερα σε ζητήματα που σχετίζονται με τα σημεία του ορίζοντα, τα οποία αποτελούν υποκατηγορία του χωρικού συλλογισμού. Οι Anthony G. Cohn και Robert E. Blackwell διερεύνησαν το συγκεκριμένο πεδίο εστιάζοντας στις κύριες και ενδιάμεσες κατευθύνσεις του ορίζοντα. Η μελέτη τους βασίστηκε σε ένα σύνολο δεδομένων το οποίο εξετάζει τρεις βασικές μεταβλητές, το πρόσωπο, το ρήμα κίνησης και τα σημεία του ορίζοντα με σκοπό την περιγραφή της θέσης ενός ή περισσοτέρων ατόμων σε σχέση με διαφορετικά περιβάλλοντα, μέσω έξι διακριτών προτύπων προτάσεων. Παράλληλα, τα Μεγάλα Γλωσσικά Μοντέλα, τα οποία έχουν καταστεί κυρίαρχα σε ένα ευρύ φάσμα εφαρμογών τόσο σε ακαδημαϊκούς όσο και σε δημόσιους και ιδιωτικούς φορείς, έχουν εκπαιδευτεί κυρίως σε εκτεταμένα αγγλόφωνα δεδομένα. Το γεγονός αυτό τα καθιστά λιγότερο αποτελεσματικά και ενδεχομένως ευάλωτα κατά την επεξεργασία γλωσσών διαφορετικών από την αγγλική, ιδιαίτερα γλωσσών χαμηλού ή μεσαίου πόρου. Παρά το γεγονός ότι έχουν πραγματοποιηθεί σχετικές μελέτες στον τομέα του χωρικού συλλογισμού, εξακολουθεί να υφίσταται σημαντικό ερευνητικό κενό ως προς την πολυγλωσσική αξιολόγηση τέτοιων ικανοτήτων στα σύγχρονα Μεγάλα Γλωσσικά Μοντέλα. Συγκεκριμένα, η συμπεριφορά των μοντέλων σε γλώσσες διαφορετικές της αγγλικής δεν έχει διερευνηθεί επαρκώς, ιδιαίτερα σε δομημένα σύνολα δεδομένων που απαιτούν λεπτομερή χωρική κατανόηση και σύνθετη συντακτική επεξεργασία. Κατά συνέπεια, κρίνεται αναγκαία η διερεύνηση της απόδοσης των μοντέλων αυτών σε σύνολα δεδομένων που αφορούν γλώσσες χαμηλού ή μεσαίου πόρου. Στην παρούσα εργασία εξετάζονται η ελληνική και η γαλλική γλώσσα, οι οποίες θεωρούνται γλώσσες μεσαίου πόρου, σε σύγκριση με την αγγλική. Βασικός στόχος της έρευνας είναι η κατανόηση και αξιολόγηση διαφορετικών κατηγοριών Μεγάλων Γλωσσικών Μοντέλων, συμπεριλαμβανομένων εμπορικών μοντέλων, νέων αρχιτεκτονικών τύπου Mixture-of-Experts, ανοικτών instruct μοντέλων, πολυγλωσσικών και μονογλωσσικών μοντέλων, καθώς και μοντέλων διαφορετικού μεγέθους. Στο πλαίσιο της μελέτης αξιολογήθηκαν συνολικά δεκατέσσερα μοντέλα.

Authors dc:creator

• ΓΥΦΤΟΥ ΠΑΝΑΓΙΩΤΑ
• GYFTOU PANAGIOTA

• Θετικές Επιστήμες
• Science

Language dc:language

English

Identifier

uoadl:5424482

OAI record oai:identifier

https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A5424482