Monsieur Phi nous fait un peu d'histoire des sciences en matière d'apprentissage automatique (machine learning) / d'IA générative sur la période 2011-2020, du prédicteur de caractères d'un article Wikipédia à GPT 3.0 (essentiellement).
Il observe que la génération de textes n'était pas centrale dans les travaux de recherche d'alors ni dans les méthodes d'évaluation des implémentations. La recherche était focalisée sur la compréhension du langage naturel, la génération de textes n'était qu'un moyen d'y parvenir. Même OpenAI était centrée sur la conception d'une IA pour le jeu vidéo Dota 2 (= animation de personnages non joueurs pour défier l'humain).
Langage = produire, sur la longueur (des dizaines de phrases), des séquences de mots inédites / originales + cohérentes (= suivent un fil conducteur) + adaptées à divers contextes (banalités du quotidien, boulot, roman, article de presse, etc.).
Cleverbot = adaptation au contexte, la cohérence se perd vite. Cadavre exquis = inédit. Générateur de westerns du MIT (arbre de décisions) = inédit et cohérent (mais limité par l'arbre de décisions). Autocomplétion basique = inédit et adaptation au contexte. Traduction automatique pré-LLM : cohérent et adaptation au contexte. Humains ou LLM = les trois critères.
Le plus difficile a été la cohérence. Caractère après caractère, puis mot après mot, puis phrase après phrase. On peut l'associer à GPT 2 (février 2019), qui est GPT 1 entraîné sur un corpus plus conséquent et varié (GPT 1 : 2 milliards de mots ; GPT 2 : 6-8 milliards de mots provenant de Reddit).
Attention Is All You Need (papier de recherche) et BERT (Encodeur bidirectionnel de représentations par des transformeurs), l'implémentation, tous deux de Google. Passage aux transformeurs, c'est-à-dire à une nouvelle architecture. Contrairement aux réseaux de neurones récurrents qui traitent les mots un à un, dans l'ordre, avec un état interne, dans une fenêtre de taille fixe, ce qui pose problème pour faire des liens entre des mots éloignés, il s'agit de regarder, dans n'importe quel ordre (donc fortement parallélisable), le contexte précédant et suivant un mot dans une large fenêtre. Rien à voir entre prédire le prochain mot après « Il enfonça un doigt dans son xxx » et « Il enfonça un doigt dans son xxx de confiture ». BERT est entraîné sur des textes à trous.
Vers la fin, dans l'extrait d'une causerie de 2019 d'un employé d'OpenAI, on retrouve le débat sur la compréhension : prédire l'identité d'un meurtrier, n'est-ce pas avoir compris le sens d'un roman ? Écrire un résumé après un « tl;dr », n'est-ce pas avoir compris l'instruction, n'est-ce pas avoir appris à exécuter cette tâche ? Monsieur Phi en a déjà parlé (sections « De quoi ChatGPT est-il VRAIMENT capable ? » et « La preuve définitive que ChatGPT ne comprend rien »).