Symmetric Post-Training Static Quantization for Radial Basis Function-based Kolmogorov-Arnold Networks

Τα Δίκτυα Kolmogorov-Arnold (KAN) εμφανίστηκαν πρόσφατα ως εναλλακτική στα παραδοσιακά multi-layer perceptron (MLP) μοντέλα, αντικαθιστώντας τις σταθερές συναρτήσεις ενεργοποίησης με εκπαιδεύσιμες. Η ανάπτυξή τους σε πλατφόρμες με περιορισμένους πόρους, ωστόσο, απαιτεί αποτελεσματική συμπίεση. Η παρούσα εργασία μελετά τη Συμμετρική Στατική Κβαντοποίηση Μετ’ Εκπαιδεύσεως εφαρμοσμένη σε μοντέλα KAN βασισμένα σε Συναρτήσεις Ακτινικής Βάσης (RBF-KAN), παρέχοντας θεωρητική ανασκόπηση των μεθόδων κβαντοποίησης μαζί με ανάλυση της αρχιτεκτονικής της οικογένειας RBF-KAN. Συγκρίνονται δύο προσεγγίσεις: (α) η βιβλιοθήκη PyTorch FX Graph Mode Quantization, και (β) ένας προσαρμοσμένος κβαντιστής σταθερής υποδιαστολής με υποστήριξη μικτής ακρίβειας, χρησιμοποιώντας συμμετρική αναπαράσταση συμπληρώματος ως προς 2 χωρίς μετατόπιση μηδενικού σημείου και κλίμακες δύναμης του 2. Και οι δύο προσεγγίσεις αξιολογούνται σε τρία σύνολα δεδομένων αυξανόμενης πολυπλοκότητας και διαφορετικού τύπου εργασίας: ταξινόμηση εικόνων (MNIST, CIFAR-10) και πολυδιάστατη παλινδρόμηση και ταξινόμηση σε πινακοποιημένα δεδομένα (Ship Performance Clustering). Και οι δύο επιτυγχάνουν ουσιαστική μείωση του μεγέθους του μοντέλου με ελάχιστη απώλεια ακρίβειας στις εργασίες ταξινόμησης. Στο πρόβλημα παλινδρόμησης, όμως, το προσαρμοσμένο σχήμα σταθερής υποδιαστολής διατηρεί ακρίβεια κοντά σε αυτή του μοντέλου κινητής υποδιαστολής, ενώ η τυπική προσέγγιση PyTorch FX, η οποία περιορίζεται αποκλειστικά σε ακρίβεια INT8, παρουσιάζει σημαντική πτώση ακρίβειας. Το χάσμα αυτό αναδεικνύει την ανάγκη για τεχνικές κβαντοποίησης που προσαρμόζονται στο δυναμικό εύρος ανά επίπεδο και ανά τανυστή, συμπεριλαμβανομένης της επιλογής του πλάτους bit. Συνολικά, τα αποτελέσματα αυτά καθιστούν το προτεινόμενο σχήμα κβαντοποίησης σταθερής υποδιαστολής μια αποτελεσματική και φιλική προς το υλικό λύση για την ανάπτυξη μοντέλων RBF-KAN σε πλατφόρμες με περιορισμένους πόρους, όπως είναι τα ενσωματωμένα συστήματα.

Authors dc:creator

• ΧΑΡΑΛΑΜΠΕΛΗ ΚΩΝΣΤΑΝΤΙΝΑ ΣΟΦΙΑ
• CHARALAMPELI KONSTANTINA SOFIA

• Θετικές Επιστήμες
• Science

Language dc:language

English

Identifier

uoadl:5425166

OAI record oai:identifier

https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A5425166