{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:5410203"},"canonical_url":"https://search.dev.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:5410203","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"RESTARTING POLICIES FOR ACCELERATED GRADIENT METHODS","abstract":"Η παρούσα διπλωματική εργασία έχει ως σκοπό να παράσχει μία αυτοτελή περιγραφή της μεθόδου βελτιστοποίησης με επιτάχυνση και της heavy-ball μεθόδου με επανεκκίνηση. Στο πρώτο μέρος της εισάγονται οι μέθοδοι πρώτης τάξης για βελτιστοποίηση λείων κυρτών συναρτήσεων, η ιδιότητα καθόδου και οι ιδιότητες τύπου Fejer της καθόδου κλίσεως, και το χάσμα πολυπλοκότητας-μαντείου που οδηγεί στην επιτάχυνση. Στο δεύτερο μέρος παρουσιάζεται η οπτική γωνία των δυναμικών συστημάτων: η κάθοδος κλίσεως εμφανίζεται ως μία διακριτοποίηση κατά Euler της ροής καθόδου, ενώ οι αλγόριθμοι heavy-ball και τύπου Nesterov αντιστοιχούν σε ένα αποσβεστικό σύστημα δεύτερης τάξης. Στο τρίτο μέρος μελετώνται πολιτικές επανεκκίνησης σε μεθόδους επιτάχυνσης. Οι σταθερές επανεκκινήσεις επιτυγχάνουν έναν γραμμικό ρυθμό σύγκλισης στην περίπτωση της ισχυρής κυρτότητας όταν η περίοδος επανεκκίνησης επιλεγεί κατάλληλα για τον αριθμό συνθήκης της συνάρτησης, ενώ οι προσαρμοστικοί κανόνες επανεκκίνησης προσπαθούν να ανιχνεύσουν την έναρξη των ταλαντώσεων χωρίς προηγούμενη γνώση της παραμέτρου της ισχυρής κυρτότητας. Την ραχοκοκαλιά της παρούσας διπλωματικής αποτελούν: η ερμηνεία ως διαφορική εξίσωση της επιτάχυνσης Nesterov των by Su et al. [10], η θεωρία της ασυμπτωτικής μηδενικής απόσβεσης των Attouch et al. [11], και οι εξαρτώμενοι από τη γεωμετρία βελτιωμένοι ρυθμοί για αδρανειακούς αλγορίθμους βαθμίδας των Apidopoulos et al. [12].","abstract_html":"Η παρούσα διπλωματική εργασία έχει ως σκοπό να παράσχει μία αυτοτελή περιγραφή της μεθόδου βελτιστοποίησης με επιτάχυνση και της heavy-ball μεθόδου με επανεκκίνηση. Στο πρώτο μέρος της εισάγονται οι μέθοδοι πρώτης τάξης για βελτιστοποίηση λείων κυρτών συναρτήσεων, η ιδιότητα καθόδου και οι ιδιότητες τύπου Fejer της καθόδου κλίσεως, και το χάσμα πολυπλοκότητας-μαντείου που οδηγεί στην επιτάχυνση. Στο δεύτερο μέρος παρουσιάζεται η οπτική γωνία των δυναμικών συστημάτων: η κάθοδος κλίσεως εμφανίζεται ως μία διακριτοποίηση κατά Euler της ροής καθόδου, ενώ οι αλγόριθμοι heavy-ball και τύπου Nesterov αντιστοιχούν σε ένα αποσβεστικό σύστημα δεύτερης τάξης. Στο τρίτο μέρος μελετώνται πολιτικές επανεκκίνησης σε μεθόδους επιτάχυνσης. Οι σταθερές επανεκκινήσεις επιτυγχάνουν έναν γραμμικό ρυθμό σύγκλισης στην περίπτωση της ισχυρής κυρτότητας όταν η περίοδος επανεκκίνησης επιλεγεί κατάλληλα για τον αριθμό συνθήκης της συνάρτησης, ενώ οι προσαρμοστικοί κανόνες επανεκκίνησης προσπαθούν να ανιχνεύσουν την έναρξη των ταλαντώσεων χωρίς προηγούμενη γνώση της παραμέτρου της ισχυρής κυρτότητας. Την ραχοκοκαλιά της παρούσας διπλωματικής αποτελούν: η ερμηνεία ως διαφορική εξίσωση της επιτάχυνσης Nesterov των by Su et al. [10], η θεωρία της ασυμπτωτικής μηδενικής απόσβεσης των Attouch et al. [11], και οι εξαρτώμενοι από τη γεωμετρία βελτιωμένοι ρυθμοί για αδρανειακούς αλγορίθμους βαθμίδας των Apidopoulos et al. [12].","abstract_has_math":false,"creators":["ΚΟΥΤΣΗΣ ΠΕΤΡΟΣ ΑΝΤΩΝΙΟΣ","KOUTSIS PETROS ANTONIOS"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2026,"date_issued":"2026","date_published":"2026","updated_at":"2026-07-24T01:02:34Z","subjects":["Θετικές Επιστήμες","Science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5410203"],"render_values":[{"text":"uoadl:5410203","href":null,"code":true}]}]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5410203","outbound_label":"Repository record","outbound_source":"dc:identifier"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["ΚΟΥΤΣΗΣ ΠΕΤΡΟΣ ΑΝΤΩΝΙΟΣ","KOUTSIS PETROS ANTONIOS"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2026"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Θετικές Επιστήμες","Science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5410203","https://pergamos.lib.uoa.gr/uoa/dl/object/5410203"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Η παρούσα διπλωματική εργασία έχει ως σκοπό να παράσχει μία αυτοτελή περιγραφή της μεθόδου βελτιστοποίησης με επιτάχυνση και της heavy-ball μεθόδου με επανεκκίνηση. Στο πρώτο μέρος της εισάγονται οι μέθοδοι πρώτης τάξης για βελτιστοποίηση λείων κυρτών συναρτήσεων, η ιδιότητα καθόδου και οι ιδιότητες τύπου Fejer της καθόδου κλίσεως, και το χάσμα πολυπλοκότητας-μαντείου που οδηγεί στην επιτάχυνση. Στο δεύτερο μέρος παρουσιάζεται η οπτική γωνία των δυναμικών συστημάτων: η κάθοδος κλίσεως εμφανίζεται ως μία διακριτοποίηση κατά Euler της ροής καθόδου, ενώ οι αλγόριθμοι heavy-ball και τύπου Nesterov αντιστοιχούν σε ένα αποσβεστικό σύστημα δεύτερης τάξης. Στο τρίτο μέρος μελετώνται πολιτικές επανεκκίνησης σε μεθόδους επιτάχυνσης. Οι σταθερές επανεκκινήσεις επιτυγχάνουν έναν γραμμικό ρυθμό σύγκλισης στην περίπτωση της ισχυρής κυρτότητας όταν η περίοδος επανεκκίνησης επιλεγεί κατάλληλα για τον αριθμό συνθήκης της συνάρτησης, ενώ οι προσαρμοστικοί κανόνες επανεκκίνησης προσπαθούν να ανιχνεύσουν την έναρξη των ταλαντώσεων χωρίς προηγούμενη γνώση της παραμέτρου της ισχυρής κυρτότητας. Την ραχοκοκαλιά της παρούσας διπλωματικής αποτελούν: η ερμηνεία ως διαφορική εξίσωση της επιτάχυνσης Nesterov των by Su et al. [10], η θεωρία της ασυμπτωτικής μηδενικής απόσβεσης των Attouch et al. [11], και οι εξαρτώμενοι από τη γεωμετρία βελτιωμένοι ρυθμοί για αδρανειακούς αλγορίθμους βαθμίδας των Apidopoulos et al. [12].","This report aims to provide a self-contained account of accelerated and heavy-ball optimization methods with restart. The first part introduces first-order methods for smooth convex minimization, the descent and Fejer-type properties of gradient descent, and the oracle-complexity gap that motivates acceleration. The second part explains the dynamical-systems viewpoint: gradient descent appears as an Euler discretization of the gradient flow, while heavy-ball and Nesterov-type algorithms correspond to second-order dissipative systems. The third part studies restarting policies for accelerated methods. Fixed restarts recover a linear rate in the strongly convex case when the restart period is tuned to the condition number, whereas adaptive restart rules try to detect the onset of oscillations without prior knowledge of the strong convexity parameter. The report incorporates the following elements in its backbone: the differential-equation interpretation of Nesterov acceleration by Su et al. [10]; the asymptotic vanishing-damping theory of Attouch et al. [11]; and the refined geometry-dependent rates for inertial gradient descent by Apidopoulos et al. [12]."]},{"key":"dc:title","label":"Title","values":["RESTARTING POLICIES FOR ACCELERATED GRADIENT METHODS"]}]}],"canonical_facts":{"dc:creator":["ΚΟΥΤΣΗΣ ΠΕΤΡΟΣ ΑΝΤΩΝΙΟΣ","KOUTSIS PETROS ANTONIOS"],"dc:date":["2026"],"dc:description":["Η παρούσα διπλωματική εργασία έχει ως σκοπό να παράσχει μία αυτοτελή περιγραφή της μεθόδου βελτιστοποίησης με επιτάχυνση και της heavy-ball μεθόδου με επανεκκίνηση. Στο πρώτο μέρος της εισάγονται οι μέθοδοι πρώτης τάξης για βελτιστοποίηση λείων κυρτών συναρτήσεων, η ιδιότητα καθόδου και οι ιδιότητες τύπου Fejer της καθόδου κλίσεως, και το χάσμα πολυπλοκότητας-μαντείου που οδηγεί στην επιτάχυνση. Στο δεύτερο μέρος παρουσιάζεται η οπτική γωνία των δυναμικών συστημάτων: η κάθοδος κλίσεως εμφανίζεται ως μία διακριτοποίηση κατά Euler της ροής καθόδου, ενώ οι αλγόριθμοι heavy-ball και τύπου Nesterov αντιστοιχούν σε ένα αποσβεστικό σύστημα δεύτερης τάξης. Στο τρίτο μέρος μελετώνται πολιτικές επανεκκίνησης σε μεθόδους επιτάχυνσης. Οι σταθερές επανεκκινήσεις επιτυγχάνουν έναν γραμμικό ρυθμό σύγκλισης στην περίπτωση της ισχυρής κυρτότητας όταν η περίοδος επανεκκίνησης επιλεγεί κατάλληλα για τον αριθμό συνθήκης της συνάρτησης, ενώ οι προσαρμοστικοί κανόνες επανεκκίνησης προσπαθούν να ανιχνεύσουν την έναρξη των ταλαντώσεων χωρίς προηγούμενη γνώση της παραμέτρου της ισχυρής κυρτότητας. Την ραχοκοκαλιά της παρούσας διπλωματικής αποτελούν: η ερμηνεία ως διαφορική εξίσωση της επιτάχυνσης Nesterov των by Su et al. [10], η θεωρία της ασυμπτωτικής μηδενικής απόσβεσης των Attouch et al. [11], και οι εξαρτώμενοι από τη γεωμετρία βελτιωμένοι ρυθμοί για αδρανειακούς αλγορίθμους βαθμίδας των Apidopoulos et al. [12].","This report aims to provide a self-contained account of accelerated and heavy-ball optimization methods with restart. The first part introduces first-order methods for smooth convex minimization, the descent and Fejer-type properties of gradient descent, and the oracle-complexity gap that motivates acceleration. The second part explains the dynamical-systems viewpoint: gradient descent appears as an Euler discretization of the gradient flow, while heavy-ball and Nesterov-type algorithms correspond to second-order dissipative systems. The third part studies restarting policies for accelerated methods. Fixed restarts recover a linear rate in the strongly convex case when the restart period is tuned to the condition number, whereas adaptive restart rules try to detect the onset of oscillations without prior knowledge of the strong convexity parameter. The report incorporates the following elements in its backbone: the differential-equation interpretation of Nesterov acceleration by Su et al. [10]; the asymptotic vanishing-damping theory of Attouch et al. [11]; and the refined geometry-dependent rates for inertial gradient descent by Apidopoulos et al. [12]."],"dc:identifier":["uoadl:5410203","https://pergamos.lib.uoa.gr/uoa/dl/object/5410203"],"dc:language":["English"],"dc:subject":["Θετικές Επιστήμες","Science"],"dc:title":["RESTARTING POLICIES FOR ACCELERATED GRADIENT METHODS"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-07-24T01:02:34Z"}