Nathan Godey a reçu, lors de la conférence CORIA-TALN 2025, le prix de thèse ATALA 2025.
Nathan était un doctorant PRAIRIE, encadré par Benoît Sagot et Eric de la Clergerie et membre de l’équipe Almanach du centre Inria de Paris, un grand bravo à lui pour ses travaux !
La thèse de Nathan Godey s’attache à dépasser les limitations structurelles de l’apprentissage de représentations dans les architectures neuronales. À partir d’une analyse fine, mobilisant des méthodes d’interprétabilité, il propose une contribution conceptuelle forte : une méthode d’entraînement de modèles de langue qui s’affranchit du calcul de la distribution des symboles de sortie, en mobilisant des techniques d’apprentissage contrastif. Cette approche originale, dite headless, vise à reconstruire des séquences de plongements lexicaux en entrée, sans recourir à une tête de décodage pendant l’apprentissage. Un travail expérimental exigeant, systématique et d’un haut niveau de compétence technique a permis de démontrer l’efficacité de ce nouveau paradigme, tant en termes d’usage mémoire que de vitesse de convergence. La diversité des thématiques abordées (segmentation en unités sous-lexicales, analyse des représentations, lois d’échelle, optimisation de l’apprentissage), ainsi qu’une aptitude bienvenue à la formalisation, se sont concrétisées à chaque fois par des publications originales dans des supports de très grande qualité.