Please use this identifier to cite or link to this item:
https://olympias.lib.uoi.gr/jspui/handle/123456789/40460Full metadata record
| DC Field | Value | Language |
|---|---|---|
| dc.contributor.author | Karanikolopoulos, Christos | en |
| dc.date.accessioned | 2026-10-08T07:43:36Z | - |
| dc.date.available | 2026-10-08T07:43:36Z | - |
| dc.identifier.uri | https://olympias.lib.uoi.gr/jspui/handle/123456789/40460 | - |
| dc.rights | Attribution-NonCommercial-NoDerivs 3.0 United States | * |
| dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/3.0/us/ | * |
| dc.subject | Bias, Preference, Virtual Polling, Forecasting, PULSE | en |
| dc.title | Measuring preferences and biases in Large Language Models | en |
| dc.type | masterThesis | - |
| heal.type | masterThesis | - |
| heal.type.en | Master thesis | en |
| heal.type.el | Μεταπτυχιακή εργασία | el |
| heal.classification | Large Language Models (LLMs) | en |
| heal.classification | Μεγάλα Γλωσσικά Μοντέλα | el |
| heal.dateAvailable | 2026-10-08T07:44:36Z | - |
| heal.language | en | el |
| heal.access | free | el |
| heal.recordProvider | Πανεπιστήμιο Ιωαννίνων. Πολυτεχνική Σχολή | el |
| heal.publicationDate | 2026-07-09 | - |
| heal.abstract | Η ραγδαία ανάπτυξη των Μεγάλων Γλωσσικών Μοντέλων έχει αναδιαμορφώσει το οικοσύστημα της Τεχνητής Νοημοσύνης. Εκπαιδευόμενα με σύγχρονες τεχνικές βαθιάς μάθησης σε μεγάλης κλίμακας συλλογές κειμένων, είναι ικανά να συλλογιστούν, να συνομιλούν, και να αυτοματοποιούν ένα ευρύ φάσμα εφαρμογών. Παρά αυτές τις εξελίξεις, πρόσφατες έρευνες έχουν δείξει ότι αυτά τα μοντέλα ελλοχεύουν, και σε πολλές περιπτώσεις ενισχύουν, κοινωνικές προκαταλήψεις και πεποιθήσεις, που σχετίζονται με ευαίσθητα χαρακτηριστικά όπως το φύλο, την εθνικότητα, ή την πολιτική. Με τη σταδιακή ενσωμάτωση αυτών των μοντέλων σε συστήματα της καθημερινότητάς μας, η παρουσία τέτοιων προκαταλήψεων εγείρει σημαντικούς προβληματισμούς σχετικά με τη δικαιοσύνη, καθώς και την υπεύθυνη χρήση τους. Ταυτόχρονα, συλλαμβάνοντας μεγάλο μέρος της σημασιολογίας της ανθρώπινης γλώσσας, τα γλωσσικά μοντέλα έχουν την ικανότητα να συναθροίσουν την κοινή γνώμη, και να προσομοιώσουν πτυχές της ανθρώπινης συμπεριφοράς. Οι δύο αυτές όψεις, ορίζουν τους δύο κεντρικούς άξονες της παρούσας διατριβής: (1) τη μέτρηση των προκαταλήψεων που εκδηλώνουν τα γλωσσικά μοντέλα και (2) την αξιολόγηση της ικανότητάς τους να προσομοιώσουν την κοινή γνώμη. Η αξιολόγηση των κοινωνικών προκαταλήψεων είναι πολυσύνθετη: τα μοντέλα είναι ιδιαίτερα ευαίσθητα στην διατύπωση των εντολών εισόδου (prompts), και ταυτόχρονα η μεροληψία και οι προτιμήσεις τους μπορούν να εκδηλωθούν με πολλές μορφές. Οι δυσκολίες αυτές εντείνονται περαιτέρω από τους μηχανισμούς ασφαλείας αυτών των μοντέλων, οι οποίοι εισάγονται μέσω της εκπαίδευσης τους, και συχνά αποτρέπουν απαντήσεις σε ευαίσθητα ερωτήματα. Η ποσοτικοποίηση αυτών των μηχανισμών και η ανάλυσή τους είναι απαραίτητη για την ορθή ερμηνεία των μετρήσεων, και αποτελεί κεντρικό ερώτημα αυτής της εργασίας. Για το σκοπό αυτό διακρίνουμε μεταξύ δυο κατηγοριών πειραμάτων: (1) με βάση τις κατανομές πιθανοτήτων του μοντέλου (next-token probability), (2) με παραγωγή κειμένου και ανάλυση των απαντήσεων (free-form text generation). Ο διαχωρισμός αυτός μας επιτρέπει να αναλύσουμε αν αυτοί οι μηχανισμοί αλλάζουν τις ίδιες προτιμήσεις και προκαταλήψεις του μοντέλου, και πώς αυτό επιτυγχάνεται. Στο πρώτο μέρος της διατριβής, κάνουμε μια μελέτη πάνω στην χρήση ερωτημάτων πολλαπλών απαντήσεων (Multiple Choice Question Answering), και πώς αυτά μπορούν να χρησιμοποιηθούν αξιόπιστα για τη μέτρηση της μεροληψίας. Παρατηρούμε ότι οι μηχανισμοί ασφαλείας εκδηλώνονται ως ixαβεβαιότητα, η οποία εκφράζεται μέσω άρνησης στο παραγόμενο από τις εντολές εισόδου κείμενο. Στη συνέχεια, χρησιμοποιούμε λεξικά με επιβλαβείς λέξεις, και ελέγχουμε το παραγόμενο κείμενο των μοντέλων δίνοντας ημιτελείς εντολές εισόδου. Με την ενσωμάτωση των ίδιων μηχανισμών, σε επίπεδο λεξιλογίου, τα μοντέλα χρησιμοποιούν λιγότερες επιβλαβείς λέξεις, ωστόσο η μείωση αυτή δεν είναι πάντα ομοιόμορφη για όλες τις κοινωνικές ομάδες. Ακόμη, περιορίζουμε το λεξικό των μοντέλων σε ένα υποσύνολο λέξεων, και μελετάμε τις συσχετίσεις τους σε συνδυασμούς δημογραφικών χαρακτηριστικών. Χρησιμοποιώντας ως άξονα σύγκρισης το φύλο, τα αποτελέσματά μας δείχνουν πως τα μοντέλα αναπαράγουν γνωστά κοινωνικά στερεότυπα όπως το επίπεδο εκπαίδευσης και τον επαγγελματικό προσανατολισμό. Στο δεύτερο μέρος της διατριβής διερευνάται κατά πόσο τα γλωσσικά μοντέλα μπορούν να χρησιμοποιηθούν για εικονικές δημοσκοπήσεις. Μέσω εντολών εισόδου, αναθέτουμε στα μοντέλα προσωπικότητες, και τα χρησιμοποιούμε ως συσσωρευτές της κοινής γνώμης, μελετώντας τις διαφορές στις κατανομές πιθανοτήτων τους. Για το σκοπό αυτό, σχεδιάσαμε το εργαλείο PULSE (Polling Using LLM Based Sentiment Extraction), το οποίο αξιολογούμε χρησιμοποιώντας ως παράδειγμα τις εκλογές των Η.Π.Α. του 2024. Τα μοντέλα καταφέρνουν να αναπαράγουν κοινά γεωγραφικά και δημογραφικά πρότυπα· ωστόσο η μεροληψία εξακολουθεί να εκδηλώνεται, και να εξαρτάται τόσο από τις προϋπάρχουσες πεποιθήσεις του μοντέλου, όσο και από την ευαισθησία τους στη διατύπωση των ερωτήσεων. Για την υποστήριξη των πειραμάτων υλοποιήθηκε μια υποδομή βασισμένη σε λογισμικό ανοικτού κώδικα. Διασφαλίζουμε την αναπαραγωγιμότητα και διαφάνεια των αποτελεσμάτων μας μέσω παραμετροποιήσιμων αρχείων, και διαθέτουμε το εργαλείο PULSE για κοινή χρήση. Σε όλη την έκταση της εργασίας, χρησιμοποιούνται κατάλληλες στατιστικές μέθοδοι για την ποσοτικοποίηση και επικύρωση των αποτελεσμάτων. | el |
| heal.abstract | The past few years have witnessed the rapid rise of generative AI and the widespread deployment of Large Language Models (LLMs). Trained on massive text corpora, these models encode and synthesize vast amounts of human knowledge, enabling them to generate original content. With appropriate prompting, they can answer questions, engage in conversations, simulate aspects of human behavior, and automate a wide range of tasks. At the same time, concerns have emerged about the social biases they learn and reproduce, which can lead to harmful outcomes. Given their capabilities, widespread adoption, and complexity, considerable research has focused on measuring, understanding, and interpreting LLM behavior. Building on this body of work, this thesis investigates LLMs along two complementary axes: (1) measuring the biases they exhibit and (2) evaluating their ability to infer population preferences. In the first part of the thesis, we conduct a comprehensive study of bias across multiple models and datasets, comparing aligned (instruct) models with their pretrained (base) counterparts. Major model developers emphasize safety, transparency, and trustworthiness, and invest heavily in alignment training; however, the effect of alignment on social bias remains poorly understood. Our goal is not only to determine whether alignment reduces bias, but also to understand the extent to which bias persists and the mechanisms by which it is mitigated. We evaluate base and instruct models under two complementary paradigms, next-token probabilities and free-form generation, decomposing the apparent effects of alignment into systemic debiasing, which alters the model’s underlying preferences, and post-hoc, refusal-based suppression, which reduces biased outputs by declining to answer. Our results confirm that aligned models are less overtly stereotypical than their pretrained counterparts, but also show that debiasing is neither universal nor always genuine. Measuring these effects requires evaluation protocols that are directly comparable across base and instruct models, a requirement that introduces additional methodological challenges. To address them, we reformulate several benchmarks as Multiple-Choice Question Answering (MCQA) tasks and experimentally investigate the conditions under which MCQA provides reliable measurements. In the second part of the thesis, we explore whether LLMs can be used to simulate polling and forecast public opinion. We treat the model as an aggregator of public sentiment, eliciting population viipreferences through next-token probabilities under demographic and geographic personas, and apply this methodology across a heterogeneous model pool. Using the 2024 U.S. Presidential Election as a case study, we test whether LLMs can reproduce partisan preferences and examine how model biases influence these estimates. While virtual polling successfully captures major demographic and geographic voting trends, bias still manifests itself, as the prior beliefs of the model affect the inferred population opinion. For our experiments, we developed a configurable, reproducible, and model-agnostic pipeline built on open-source infrastructure. We also make our polling tool publicly available as a live web application. Throughout the thesis, we employ appropriate statistical methods to quantify uncertainty and validate our findings. | en |
| heal.advisorName | Tsaparas, Panayiotis | en |
| heal.committeeMemberName | Pitoura, Evaggelia | en |
| heal.committeeMemberName | Skianis, Konstantinos | en |
| heal.academicPublisher | Πανεπιστήμιο Ιωαννίνων. Πολυτεχνική Σχολή. Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής | el |
| heal.academicPublisherID | uoi | el |
| heal.fullTextAvailability | true | - |
| Appears in Collections: | Διατριβές Μεταπτυχιακής Έρευνας (Masters) - ΜΗΥΠ | |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| Karanikolopoulos2026.pdf | 2.51 MB | Adobe PDF | View/Open |
This item is licensed under a Creative Commons License
