Réglage fin par ensemble convergent de divers modèles transformers pour l’analyse du sentiment

Le développement des techniques de réglage fin pour les modèles transformers pré-entraînés comme BERT (Devlin et al., 2018 [22]) a beaucoup gagné en popularité depuis 2018. Comparativement à la technique d’extraction des caractéristiques, le réglage fin donne des résultats de pointe sur de nombreuses tâches en aval liées au traitement automatique du langage naturel (Ma et al., 2019 [65]). En analyse du sentiment, ces avancées aident à surmonter plusieurs enjeux techniques importants, comme la gestion des termes de négation, des anaphores et des références syntagmatiques plus subtiles (Birjali et al., 2021 [10]). Néanmoins, certains enjeux demeurent nonrésolus, notamment la difficulté d’obtenir des données d’entraînement pour des tâches-domaines spécialisées (Xu et al., 2019 [113]). Cette problématique est liée au coût et à la difficulté de créer des jeux de données manuellement annotés par des êtres humains. Dans ce mémoire, une nouvelle solution d’annotation programmatique est proposée, s’appuyant sur les travaux de Ghashiya et Okamura (2021) [34] avec des modèles lexicaux en analyse du sentiment portant sur les titres d’actualité durant la Covid-19. Comme alternative aux modèles lexicaux, la technique proposée utilise un modèle de réglage fin par ensemble de modèles transformers appelé MDLsoft. Cette technique combine des aspects de deux stratégies de réglage fin, soit les auto-ensembles par votes (Xu et al., 2020 [115]) et l’apprentissage multitâches (Liu et al., 2019 [62]). À partir des prédictions issues du modèle final, une analyse du sentiment sera présentée portant sur le même sujet que Ghashiya et Okamura, mais en y apportant certaines améliorations techniques.

Level dc:type.qualificationlevel

masters

Grantor dc:publisher.institution

Université TÉLUQ

Year dc:date.issued

2023

Author dc:creator

• Guévin-Kamena, Roger

Language dc:language

fr