{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:5427133"},"canonical_url":"https://search.dev.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:5427133","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"On Post-Hoc Dimensionality Reduction of Text Embeddings","abstract":"Text embeddings are a core representation in modern NLP, supporting tasks such as retrieval, clustering, classification, and semantic search. However, embeddings often have hundreds or thousands of dimensions, creating substantial storage and efficiency challenges at scale. In this work, we present a systematic study of post-hoc dimensionality reduction methods across multiple modern embedding backbones, compression ratios, and downstream tasks. As an additional contribution, we introduce GeoPres, a simple and flexible dimensionality reduction method that explicitly preserves spatial geometry in the form of a linear map that we directly train to preserve semantic distances.Our experiments yield both coarse and fine-grained empirical profiles of different post-hoc dimensionality reductions, highlighting their tradeoffs, and shedding light on which tasks are overall more favorable to compressed embeddings.Specifically, we find that our simple method significantly performs strongest, on average, including also in comparisons against more costly and complex methods of the non-post-hoc type. Overall, our study enables us to derive practical recommendations for selecting efficient post-hoc dimensionality reduction techniques in text embedding models.","abstract_html":"Text embeddings are a core representation in modern NLP, supporting tasks such as retrieval, clustering, classification, and semantic search. However, embeddings often have hundreds or thousands of dimensions, creating substantial storage and efficiency challenges at scale. In this work, we present a systematic study of post-hoc dimensionality reduction methods across multiple modern embedding backbones, compression ratios, and downstream tasks. As an additional contribution, we introduce GeoPres, a simple and flexible dimensionality reduction method that explicitly preserves spatial geometry in the form of a linear map that we directly train to preserve semantic distances.Our experiments yield both coarse and fine-grained empirical profiles of different post-hoc dimensionality reductions, highlighting their tradeoffs, and shedding light on which tasks are overall more favorable to compressed embeddings.Specifically, we find that our simple method significantly performs strongest, on average, including also in comparisons against more costly and complex methods of the non-post-hoc type. Overall, our study enables us to derive practical recommendations for selecting efficient post-hoc dimensionality reduction techniques in text embedding models.","abstract_has_math":false,"creators":["ΚΑΛΥΦΟΜΜΑΤΟΣ ΚΩΝΣΤΑΝΤΙΝΟΣ","KALYFOMMATOS KONSTANTINOS"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2026,"date_issued":"2026","date_published":"2026","updated_at":"2026-08-21T16:42:01Z","subjects":["Θετικές Επιστήμες","Science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5427133"],"render_values":[{"text":"uoadl:5427133","href":null,"code":true}]}]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5427133","outbound_label":"Repository record","outbound_source":"dc:identifier"},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A5427133","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["ΚΑΛΥΦΟΜΜΑΤΟΣ ΚΩΝΣΤΑΝΤΙΝΟΣ","KALYFOMMATOS KONSTANTINOS"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2026"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Θετικές Επιστήμες","Science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5427133","https://pergamos.lib.uoa.gr/uoa/dl/object/5427133"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Text embeddings are a core representation in modern NLP, supporting tasks such as retrieval, clustering, classification, and semantic search. However, embeddings often have hundreds or thousands of dimensions, creating substantial storage and efficiency challenges at scale. In this work, we present a systematic study of post-hoc dimensionality reduction methods across multiple modern embedding backbones, compression ratios, and downstream tasks. As an additional contribution, we introduce GeoPres, a simple and flexible dimensionality reduction method that explicitly preserves spatial geometry in the form of a linear map that we directly train to preserve semantic distances.Our experiments yield both coarse and fine-grained empirical profiles of different post-hoc dimensionality reductions, highlighting their tradeoffs, and shedding light on which tasks are overall more favorable to compressed embeddings.Specifically, we find that our simple method significantly performs strongest, on average, including also in comparisons against more costly and complex methods of the non-post-hoc type. Overall, our study enables us to derive practical recommendations for selecting efficient post-hoc dimensionality reduction techniques in text embedding models.","Οι διανυσματικές αναπαραστάσεις κειμένου αποτελούν βασική αναπαράσταση στη σύγχρονη Επεξεργασία Φυσικής Γλώσσας (NLP), υποστηρίζοντας εργασίες όπως η ανάκτηση πληροφορίας, η ομαδοποίηση, η ταξινόμηση και η σημασιολογική αναζήτηση. Ωστόσο, οι αναπαραστάσεις αυτές έχουν συχνά εκατοντάδες ή χιλιάδες διαστάσεις, δημιουργώντας σημαντικές προκλήσεις αποθήκευσης και αποδοτικότητας σε μεγάλη κλίμακα. Στην παρούσα εργασία, παρουσιάζουμε μια συστηματική μελέτη μεθόδων εκ των υστέρων μείωσης διάστασης, εξετάζοντας πολλαπλά σύγχρονα μοντέλα αναπαραστάσεων, λόγους συμπίεσης και downstream tasks. Ως επιπλέον συνεισφορά, εισάγουμε τη μέθοδο GeoPres, μια απλή και ευέλικτη μέθοδο μείωσης διάστασης που διατηρεί ρητά τη χωρική γεωμετρία μέσω μιας γραμμικής απεικόνισης, την οποία εκπαιδεύουμε απευθείας ώστε να διατηρεί τις σημασιολογικές αποστάσεις. Τα πειράματά μας παράγουν τόσο γενικά όσο και λεπτομερή εμπειρικά προφίλ διαφορετικών μεθόδων εκ των υστέρων μείωσης διάστασης, αναδεικνύοντας τους αντισταθμιστικούς τους συμβιβασμούς και ρίχνοντας φως στο ποιες εργασίες ευνοούν συνολικά περισσότερο τις συμπιεσμένες αναπαραστάσεις. Συγκεκριμένα, διαπιστώνουμε ότι η απλή μας μέθοδος αποδίδει κατά μέσο όρο σημαντικά καλύτερα, ακόμη και σε σύγκριση με πιο κοστοβόρες και σύνθετες μεθόδους μη εκ των υστέρων τύπου. Συνολικά, η μελέτη μας μάς επιτρέπει να εξάγουμε πρακτικές συστάσεις για την επιλογή αποδοτικών τεχνικών εκ των υστέρων μείωσης διάστασης σε μοντέλα διανυσματικών αναπαραστάσεων κειμένου."]},{"key":"dc:title","label":"Title","values":["On Post-Hoc Dimensionality Reduction of Text Embeddings"]}]}],"canonical_facts":{"dc:creator":["ΚΑΛΥΦΟΜΜΑΤΟΣ ΚΩΝΣΤΑΝΤΙΝΟΣ","KALYFOMMATOS KONSTANTINOS"],"dc:date":["2026"],"dc:description":["Text embeddings are a core representation in modern NLP, supporting tasks such as retrieval, clustering, classification, and semantic search. However, embeddings often have hundreds or thousands of dimensions, creating substantial storage and efficiency challenges at scale. In this work, we present a systematic study of post-hoc dimensionality reduction methods across multiple modern embedding backbones, compression ratios, and downstream tasks. As an additional contribution, we introduce GeoPres, a simple and flexible dimensionality reduction method that explicitly preserves spatial geometry in the form of a linear map that we directly train to preserve semantic distances.Our experiments yield both coarse and fine-grained empirical profiles of different post-hoc dimensionality reductions, highlighting their tradeoffs, and shedding light on which tasks are overall more favorable to compressed embeddings.Specifically, we find that our simple method significantly performs strongest, on average, including also in comparisons against more costly and complex methods of the non-post-hoc type. Overall, our study enables us to derive practical recommendations for selecting efficient post-hoc dimensionality reduction techniques in text embedding models.","Οι διανυσματικές αναπαραστάσεις κειμένου αποτελούν βασική αναπαράσταση στη σύγχρονη Επεξεργασία Φυσικής Γλώσσας (NLP), υποστηρίζοντας εργασίες όπως η ανάκτηση πληροφορίας, η ομαδοποίηση, η ταξινόμηση και η σημασιολογική αναζήτηση. Ωστόσο, οι αναπαραστάσεις αυτές έχουν συχνά εκατοντάδες ή χιλιάδες διαστάσεις, δημιουργώντας σημαντικές προκλήσεις αποθήκευσης και αποδοτικότητας σε μεγάλη κλίμακα. Στην παρούσα εργασία, παρουσιάζουμε μια συστηματική μελέτη μεθόδων εκ των υστέρων μείωσης διάστασης, εξετάζοντας πολλαπλά σύγχρονα μοντέλα αναπαραστάσεων, λόγους συμπίεσης και downstream tasks. Ως επιπλέον συνεισφορά, εισάγουμε τη μέθοδο GeoPres, μια απλή και ευέλικτη μέθοδο μείωσης διάστασης που διατηρεί ρητά τη χωρική γεωμετρία μέσω μιας γραμμικής απεικόνισης, την οποία εκπαιδεύουμε απευθείας ώστε να διατηρεί τις σημασιολογικές αποστάσεις. Τα πειράματά μας παράγουν τόσο γενικά όσο και λεπτομερή εμπειρικά προφίλ διαφορετικών μεθόδων εκ των υστέρων μείωσης διάστασης, αναδεικνύοντας τους αντισταθμιστικούς τους συμβιβασμούς και ρίχνοντας φως στο ποιες εργασίες ευνοούν συνολικά περισσότερο τις συμπιεσμένες αναπαραστάσεις. Συγκεκριμένα, διαπιστώνουμε ότι η απλή μας μέθοδος αποδίδει κατά μέσο όρο σημαντικά καλύτερα, ακόμη και σε σύγκριση με πιο κοστοβόρες και σύνθετες μεθόδους μη εκ των υστέρων τύπου. Συνολικά, η μελέτη μας μάς επιτρέπει να εξάγουμε πρακτικές συστάσεις για την επιλογή αποδοτικών τεχνικών εκ των υστέρων μείωσης διάστασης σε μοντέλα διανυσματικών αναπαραστάσεων κειμένου."],"dc:identifier":["uoadl:5427133","https://pergamos.lib.uoa.gr/uoa/dl/object/5427133"],"dc:language":["English"],"dc:subject":["Θετικές Επιστήμες","Science"],"dc:title":["On Post-Hoc Dimensionality Reduction of Text Embeddings"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-08-21T16:42:01Z"}