Une phrase suffit à sortir du brouillard : ChatGPT est un système qui a lu énormément de texte et qui, quand vous lui écrivez quelque chose, répond mot après mot en choisissant à chaque étape le mot le plus probable. Rien de magique là-dedans. Mais cette mécanique a des conséquences très concrètes, sur ce que le système sait faire et sur les erreurs qu’il produit.
Comment fonctionne ChatGPT quand vous tapez une question ?
Le cœur du système tient dans un geste unique, répété des dizaines de fois : prédire le mot suivant. Vous tapez « la capitale du Portugal est » et le modèle calcule une probabilité pour chaque mot possible. « Lisbonne » sort en tête, il l’affiche, puis il recommence avec la phrase allongée. Une réponse entière est construite de cette façon, bloc par bloc.
La Commission nationale de l’informatique et des libertés le résume sans détour : les modèles génératifs « ne sont pas des bases de connaissance : ils obéissent à une logique probabiliste, ce qui signifie qu’ils ne génèrent que le résultat qui sera statistiquement le plus probable compte tenu des données sur lesquelles ils ont été entraînés » (CNIL, questions-réponses sur l’IA générative). Le modèle ancêtre de ChatGPT, GPT-3, pesait déjà 175 milliards de paramètres, dix fois plus que tout modèle de langage antérieur non épars (étude « Language Models are Few-Shot Learners », arXiv, 2020). Ces paramètres sont les boutons de réglage ajustés pendant l’entraînement. Aucun humain ne les a écrits à la main.
Ce qui s’est passé avant, pendant l’entraînement
Tout se joue avant votre première question. Le modèle a d’abord « lu » des volumes massifs de textes, jusqu’à ce que la prédiction du mot suivant devienne très bonne. Puis il a été affiné pour tenir des conversations utiles, suivre des consignes et refuser certaines demandes. C’est cette dernière étape qui transforme une machine à compléter des phrases en assistant.
Une technique revient sans arrêt dans l’actualité de l’IA : la distillation. L’idée date de mars 2015, quand Geoffrey Hinton, Oriol Vinyals et Jeff Dean ont publié chez Google l’article qui a donné son nom à la méthode (« Distilling the Knowledge in a Neural Network », arXiv, 2015). Un grand modèle, le « professeur », sert à entraîner un petit modèle, l’« élève ». Le bénéfice est immédiat pour l’utilisateur : des versions compactes coûtent moins cher par requête, répondent plus vite et peuvent parfois tourner en local (Blog du Modérateur). Les laboratoires s’en servent pour vendre des modèles rapides aux entreprises, et certains en ont accusé d’autres de l’utiliser à leur insu.
Anthropic a ainsi identifié des campagnes massives d’extraction de son modèle Claude par trois laboratoires concurrents, DeepSeek, Moonshot et MiniMax, avec plus de 16 millions d’échanges générés via environ 24 000 comptes frauduleux (Anthropic). Le sujet oppose aujourd’hui les laboratoires américains et chinois, et la distillation en est l’objet du litige. Pour un simple utilisateur, la leçon tient en une phrase : la version « rapide et pas chère » d’un assistant est souvent un élève formé par un professeur plus gros.
ChatGPT et un moteur de recherche, deux machines différentes
La confusion la plus fréquente consiste à traiter ChatGPT comme un Google amélioré. Les deux systèmes ne travaillent pas de la même manière, et le tableau ci-dessous montre où la différence change vraiment quelque chose.
| Critère | ChatGPT | Moteur de recherche |
|---|---|---|
| Origine de la réponse | Texte généré à partir de probabilités apprises | Liste de pages qui existent réellement |
| Information récente | Limitée par la date d’entraînement, sauf outil de recherche intégré | Index actualisé en continu |
| Erreur typique | Réponse plausible mais inventée | Classement peu pertinent, mais source visible |
| Vérification | La source n’apparaît pas par défaut | Le lien vers la source est le produit lui-même |
| Bon pour | Rédiger, reformuler, structurer une idée | Trouver un fait, une source, un chiffre daté |
Pourquoi ChatGPT invente des réponses
Quand une information n’existe pas dans ses données d’entraînement, le modèle ne dit pas « je ne sais pas ». Il continue à prédire le mot le plus probable, ce qui produit une réponse ferme, bien rédigée et complètement fausse. La CNIL appelle cela une hallucination et précise que cela survient en particulier sur des événements postérieurs à l’entraînement du modèle (CNIL).
Une confiance excessive dans les résultats, sans vérification, conduit à des décisions erronées, selon la même source. Les chiffres et les noms propres sont les premiers concernés. On en avait fait le tour dans un article précédent sur les risques concrets des IA génératives.
Quel outil pour quel besoin
Rédiger un courrier ou reformuler un paragraphe embrouillé, ChatGPT est fait pour ça, et le tableau comparatif le confirme. Vérifier un chiffre, retrouver une information datée d’hier, chercher la source d’une affirmation : le moteur de recherche reste l’outil juste, parce que sa réponse est une liste de sources et non une prédiction.
Le cas limite, c’est la question qui mélange les deux, par exemple « qu’est-ce qui a changé dans la réglementation ce mois-ci ». Un assistant connecté à un outil de recherche peut y répondre, à condition que cet outil soit réellement activé. Sinon, le modèle répondra avec ses souvenirs d’entraînement, et ils ont une date de péremption. Pour des usages précis et leurs limites, un article précédent détaille ce que ChatGPT fait bien au quotidien et ce qu’il faut lui refuser.