Inference of Kolmogorov-Arnold Networks on FPGA-based SoC

Τα Δίκτυα Kolmogorov-Arnold (KANs) είναι κατάλληλα για την υλοποίηση αρχιτεκτονικών Νευρωνικών Δικτύων, ως εναλλακτική των περισσότερο διαδεδομένων Multi-Layer Perceptrons. Βασίζονται στην αναπαράσταση Kolmogorov-Arnold και δημιουργούν νευρωνικά δίκτυα με εκπαιδεύσιμες συναρτήσεις ενεργοποίησης ως βάρη. Παρότι συχνά παρουσιάζουν καλύτερα αποτέλεσματα από τα συμβατικά Multi-Layer Perceptrons παράγουν σχετικά σύνθετα συστήματα που δεν είναι κατάλληλα για εκτέλεση σε κλασικές αρχιτεκτονικές επεξεργαστών Von-Neumann. Καταλληλότερη αρχιτεκτονική είναι ένας επεξεργαστής ροής δεδομένων (data-flow), όπου τα δεδομένα μαζί με τις παραμέτρους του νευρωνικού δικτύου ρέουν ασύγχρονα και παράλληλα προς τον επεξεργαστή. Ακριβώς τέτοια συστήματα είναι οι συστολικές συστοιχίες επεξεργαστών και τα Field Programmable Gate Arrays (FPGAs) είναι πλέον κατάλληλα για την υλοποίησή τους. Η παρούσα εργασία αποσκοπεί στη σχεδίαση μίας πλήρως λειτουργικής, παραμετροποιήσιμης και βελτιστοποιημένης αρχιτεκτονικής γύρω από ένα διαθέσιμο πυρήνα Kolmogorov-Arnold που εκτελεί inference αναπτυγμένο σε γλώσσα περιγραφής υλικού. Ο πυρήνας αυτός αποτελεί έναν πλήρως ασύγχρονο επεξεργαστή ροής δεδομένων με application-specific αρχιτεκτονική. Για την βέλτιστη εκμετάλλευση των δυνατοτήτων του πυρήνα αυτός θα συντεθεί στο προγραμματιζόμενο υλικό ενός Xilinx Zynq-7000 System-on-a-Chip (SoC) με ένα δίκτυο από μνήμες και διαύλους που θα του παρέχουν τα απαραίτητα δεδομένα και παραμέτρους για να υλοποιεί inference μηχανικής μάθησης. Το SoC περιέχει επίσης έναν πυρήνα μικροεπεξεργαστή ARM Cortex-A9 στον οποίο θα εκτελεστεί μία bare-metal εφαρμογή που θα ρυθμίζει τις παραμέτρους και θα κατευθύνει τις ροές δεδομένων προς το FPGA, μέσω Direct Memory Access (DMA) και memory-mapped περιφερειακά. Στόχος είναι ο μέγιστος συγχρονισμός του υλισμικoύ με την εφαρμογή λογισμικού ώστε να επιτευχθεί επιταχυμένη απόδοση. Η εργασία αυτή ερευνά μία νέα αρχιτεκτονική νευρωνικών δικτύων για την οποία δεν έχουν προταθεί ως τώρα πολλές υλοποιήσεις, ειδικά σε προγραμματιζόμενο υλικό.

Authors dc:creator

• Κούτουλας Ιωάννης
• Koutoulas Ioannis

• Θετικές Επιστήμες
• Science

Language dc:language

English

Identifier

uoadl:5330515

OAI identifier oai:identifier

oai:lib.uoa.gr:uoadl:5330515