DART-RAG: Dynamic Agentic Replanning for Trustworthy Retrieval-Augmented Generation in Scientific QA

Η Παραγωγή Επαυξημένη με Ανάκτηση (RAG) αποτελεί μια πολλά υποσχόμενη προσέγ- γιση για τη θεμελίωση των Μεγάλων Γλωσσικών Μοντέλων (LLMs) σε εξωτερική γνώση, αλλά τα τρέχοντα πλαίσια συστημάτων με ένα ή πολλαπλούς πράκτορες δυσκολεύονται με επιστημονικά ερωτήματα που απαιτούν συλλογιστική πολλαπλών βημάτων και λεπτομερή απόδοση πηγών. Τέτοια συστήματα συχνά βασίζονται σε δύσκαμπτα, προκαθορισμένα σχέδια που αδυνατούν να προσαρμοστούν όταν τα ανακτηθέντα τεκμήρια αποκαλύπτουν κενά πληροφοριών, ενώ συχνά θυσιάζουν την αξιοπιστία δημιουργώντας αφαιρετικές πε- ριλήψεις επιρρεπείς σε ψευδαισθήσεις (hallucinations). Για την αντιμετώπιση αυτών των περιορισμών, παρουσιάζουμε το DART-RAG (Dynamic Agentic Replanning for Trustworthy RAG), ένα αρθρωτό πλαίσιο που δεν απαιτεί εκπαί- δευση, σχεδιασμένο για αξιόπιστες επιστημονικές Ερωταποκρίσεις (QA) ανοιχτού πεδίου. Λειτουργώντας πάνω σε μια συλλογή περισσότερων από 3 εκατομμυρίων εργασιών πλή- ρους κειμένου προερχόμενων από τα σώματα κειμένων του Semantic Scholar, το DART- RAG διακρίνεται μέσω ενός μηχανισμού προσαρμοστικού επανασχεδιασμού που αξιολο- γεί δυναμικά την εσωτερική κατάσταση του συστήματος, επιτρέποντάς του να περικόπτει πλεονάζοντα βήματα, να επεκτείνει τις τροχιές αναζήτησης ή να τερματίζει πρόωρα με βάση την επάρκεια των συλλεχθέντων στοιχείων. Επιπλέον, η προσέγγισή μας επιδιώκει να ενσωματώσει αυτούσια αποσπάσματα πηγών, με στόχο τη θεμελίωση των παραγόμενων ισχυρισμών σε σχετικές παραπομπές. Ακολου- θώντας προηγούμενες εργασίες, αξιολογούμε την προσέγγιση μας χρησιμοποιώντας ένα ολοκληρωμένο πρωτόκολλο «LLM-ως-κριτή» (LLM-as-a-judge) στους άξονες Σχετικότη- τα Απάντησης, Σχετικότητα Πλαισίου, Πιστότητα, Ορθότητα και Επάρκεια. Πειράματα σε υποσύνολα των συνόλων δεδομένων UnArXive (Expert και Simple) και BioASQ δείχνουν ότι το DART-RAG επιτυγχάνει ποσοστό επιτυχίας 76,5% στην Ορθότητα Απάντησης, υ- περέχοντας μιας παραδοσιακής βάσης αναφοράς RAG κατά 20 ποσοστιαίες μονάδες. Σε σύγκριση με μια ισχυρή αρχιτεκτονική πολλαπλών πρακτόρων, το DART-RAG επιδεικνύ- ει ανώτερη προσαρμοστικότητα, βελτιώνοντας την Επάρκεια Απάντησης κατά 8,8 ποσο- στιαίες μονάδες και τη Σχετικότητα Πλαισίου κατά 7,2 ποσοστιαίες μονάδες, διατηρώντας παράλληλα σχεδόν τέλεια Πιστότητα (99%). Αφαιρετική μελέτη (ablation study) επιβε- βαιώνει ότι ο Μηχανισμός Επανασχεδιασμού (Replanner) αποτελεί κρίσιμο στοιχείο που οδηγεί σε αυτά τα οφέλη με ελάχιστη υπολογιστική επιβάρυνση. Το DART-RAG προσφέ- ρει μια κλιμακώσιμη, διαφανή προσέγγιση για αυστηρές επιστημονικές ερωταποκρίσεις.

Authors dc:creator

• ΚΑΚΑΛΗΣ ΕΥΣΤΡΑΤΙΟΣ ΠΑΣΧΑΛΗΣ
• KAKALIS EFSTRATIOS PASCHALIS

• Θετικές Επιστήμες
• Science

Language dc:language

English

Identifier

uoadl:5374266

OAI identifier oai:identifier

oai:lib.uoa.gr:uoadl:5374266