G
GEO Toolbox
how-does-chatgpt-worktransformerllmai-searchgeoguide

Comment fonctionne ChatGPT ? Le Transformer expliqué simplement

Comment fonctionne ChatGPT : le mécanisme réel (tokens, embeddings, attention, prédiction du token suivant) et ce que ça change pour votre visibilité IA.

Samy Ben SadokSamy Ben Sadok22 min read
In this post11 sections

Comment fonctionne ChatGPT (ou « Chat GPT ») ? Si l’on fait abstraction du discours marketing, la réponse est plus étrange, et plus simple, que ne le laissent entendre la plupart des explications. Il ne s’agit pas de « pensée ». Le modèle sous-jacent ne dispose d’aucune base de données dans laquelle il effectuerait des recherches sur votre site, et la plupart du temps, il n’effectue aucune recherche sur le Web. Il effectue une seule opération, plusieurs centaines de fois par réponse : prédire le token suivant. Voici comment marche ChatGPT, expliqué en langage clair, à l’intention de ceux qui publient du contenu plutôt que de développer des modèles, avec la partie que les explications techniques omettent souvent : ce que chaque étape implique (ou non) pour votre présence dans les réponses générées par l’IA.

Comment fonctionne ChatGPT en 30 secondes : il prédit le token suivant

ChatGPT fonctionne en répondant sans cesse à une même petite question : compte tenu du texte généré jusqu’à présent, quel token est le plus susceptible de venir ensuite ? Il attribue un score à chaque token possible, en choisit un (pas toujours celui qui obtient le score le plus élevé, comme nous le verrons), l’ajoute à la fin, puis pose à nouveau la question. Chaque réponse qu’il génère correspond à cette boucle exécutée plusieurs centaines de fois. Au sein du modèle de base, il n’y a pas d’étape distincte où il vérifie ce qui est vrai ou réfléchit à votre question comme le ferait une personne. (Lorsque ChatGPT effectue une recherche sur le Web ou utilise un outil, le produit ajoute ces étapes supplémentaires au modèle ; nous y reviendrons plus tard.)

On utilise souvent le terme « autocomplétion », et c’est un bon point de départ, à condition de ne pas s’arrêter là. Stephen Wolfram, dans son article explicatif en langage simple très souvent cité, décrit ce phénomène comme la génération d’une « suite raisonnable » du texte saisi jusqu’à présent.

Le hic, c’est que le « simple » de « simple autocomplétion » implique en réalité un travail considérable en coulisses. Pour prédire le mot suivant dans « la capitale de la France est », il faut disposer d’une information factuelle. Pour compléter la phrase « si je renverse la table, le raisin qui s’y trouve… », il faut disposer d’un modèle approximatif du comportement du monde physique. Une bonne prédiction du mot suivant, à une échelle suffisamment grande, commence à ressembler à de la compréhension, ce qui explique pourquoi le débat visant à déterminer si ces modèles « comprennent » n’a pas de réponse claire.

Pour quelqu’un qui publie du contenu, la leçon pratique à retenir prime sur tout calcul mathématique. Vous ne cherchez pas à convaincre un esprit ni à modifier une entrée de base de données. Vous influencez les statistiques qui déterminent la manière dont les textes sur votre sujet ont tendance à évoluer. Gardez cela à l’esprit, car cela explique presque tout ce que la machine fait de bien et de mal.

Ce que les gens pensent que fait ChatGPTCe qui se passe réellement
Réfléchit à votre question et la comprendPrédit le token suivant à partir de schémas, un token à la fois
Recherche votre marque dans une base de données en temps réelGénère des réponses à partir de poids numériques fixes définis lors de l’entraînement
Effectue une recherche sur le Web à chaque fois qu’il répondUniquement lorsqu’il effectue une recherche sur le Web ; le reste du temps, aucune donnée n’est récupérée
Se souvient de vous d’une conversation à l’autreCommence chaque conversation avec une page blanche, à moins qu’une couche de mémoire distincte ne stocke des informations
Lit votre page comme un lecteur humainLit les identifiants de tokens et les vecteurs, et non votre texte lettre par lettre

De votre prompt aux tokens : la tokenisation

Mais qu’est-ce qu’un token, au juste ? Avant que le modèle n’intervienne, un programme distinct appelé « tokeniseur » découpe votre texte en tokens et attribue à chacun d’eux un numéro. Un token est un fragment de texte, correspondant généralement à environ quatre caractères ou aux trois quarts d’un mot en anglais (dans d’autres langues, un mot nécessite souvent davantage de tokens). Les mots courants correspondent à un seul token ; les mots plus rares et les noms de marques moins courants sont quant à eux divisés en plusieurs parties. Le modèle fonctionne principalement à partir de ces identifiants entiers plutôt qu’à partir d’une analyse lettre par lettre de votre texte, ce qui explique précisément pourquoi les tâches au niveau des lettres lui posent problème. Les modèles multimodaux convertissent également les images et les fichiers audio en leurs propres représentations numériques, bien que le processus exact diffère de la tokenisation du texte.

C’est là l’origine du célèbre problème de ChatGPT lorsqu’il s’agit de compter les « R » dans le mot « strawberry ». Ce mot est traité sous forme de plusieurs tokens de sous-mots, dont aucun ne correspond à une lettre ; compter les lettres relève donc d’une tâche de mémoire plutôt que d’une simple lecture sur la page. Ce même mécanisme explique les noms de marques déformés et les erreurs dans les nombres longs. L’histoire complète, y compris la liste des mots qui posent encore problème aux modèles actuels, fait l’objet d’un article dédié aux tokens ; ici, il suffit de savoir que les tokens constituent l’unité de base sur laquelle repose tout le traitement en aval.

La densité des mots-clés ne s’applique pas ici

L’ancienne habitude consistant à répéter une expression pour signaler la pertinence ne s’applique plus ici. Le modèle ne compte pas le nombre d’occurrences de l’expression « meilleur CRM pour dentistes » sur votre page au moment où il répond ; à ce stade, il n’évalue pas du tout votre document. Il a appris des schémas à partir de textes bien avant que votre question n’arrive, et la densité sur une seule page ne fait pas partie des facteurs qui les ont façonnés. La recherche en temps réel, abordée plus loin dans cet article, est un cas à part, où un index de recherche classique doit tout d’abord trouver votre page.

Des tokens aux vecteurs : embeddings et sens

Un identifiant de token n’est encore qu’un nombre représentant un fragment de texte. C’est à l’étape suivante que le sens entre en jeu. Chaque token est associé à un embedding, une longue liste de nombres que l’on peut visualiser comme un point dans l’espace, sauf que cet espace comporte des milliers de dimensions au lieu de trois. Les tokens ayant des significations similaires sont proches les uns des autres. « Chat » et « chien » se trouvent l’un près de l’autre car ils apparaissent dans des phrases similaires. « Chat » et « feuille de calcul » sont très éloignés l’un de l’autre. Pour un modèle, le sens, c’est de la géométrie.

Ces positions ne sont pas attribuées manuellement. Elles sont initialisées de manière aléatoire et évoluent à mesure que le réseau neuronal analyse des milliards d’exemples pendant l’entraînement. Les mots qui apparaissent régulièrement en compagnie les uns des autres se rapprochent jusqu’à ce que la structure de l’espace reflète une réalité de l’usage de la langue. Le modèle ne reçoit jamais de définition du mot « chat ». Il reçoit le contexte dans lequel « chat » s’inscrit, ce qui s’avère suffisant pour le situer. Vous pouvez lire une explication plus détaillée de la manière dont les embeddings véhiculent du sens, mais c’est la forme de ce processus qui importe ici.

C’est là que le mécanisme entre pour la première fois en contact avec votre visibilité, et il vaut mieux être précis plutôt que de se livrer à des spéculations. Votre marque n’est pas un simple point dans cet espace. Son nom se répartit souvent sur plusieurs tokens, et ce que le modèle construit, c’est une association entre ces tokens, votre catégorie et les mots qui ont tendance à les entourer. Si votre nom apparaît systématiquement aux côtés de votre catégorie dans le texte sur lequel le modèle a été entraîné, cette association se renforce. Il ne s’agit pas d’une balise que vous ajoutez ni d’un paramètre que vous activez. C’est le résultat progressif d’une description précise et cohérente dans le type de textes à partir desquels les modèles apprennent. Soyez toutefois honnête quant à ses limites : personne ne peut ouvrir le modèle pour vous montrer cette association ni prouver qu’elle a évolué. Il s’agit d’une déduction tirée du fonctionnement de l’apprentissage, et la seule chose que vous pouvez réellement observer, ce sont les réponses fournies par le modèle, échantillonnées au fil du temps.

Comment le modèle interprète le contexte : le mécanisme d’attention

Un point dans l’espace donne une idée assez juste de ce que signifie un mot pris isolément, mais les mots changent de sens selon le contexte. Le mot « bank » associé à « river » n’a pas le même sens que le mot « bank » associé à « account ». La percée qui a permis aux modèles modernes de fonctionner, l’article de 2017 intitulé Attention Is All You Need, a construit toute l’architecture autour d’une étape appelée « self-attention », qui actualise la signification de chaque token en fonction des autres tokens qui l’entourent avant même qu’une prédiction ne soit effectuée.

La manière la plus simple de se représenter l’attention consiste à la considérer comme une vérification rapide de la pertinence que chaque token effectue par rapport à chaque token précédent. Chaque token définit trois éléments :

  • une requête : que suis-je en train de chercher ?
  • une clé : qu’est-ce que j’ai à offrir ?
  • une valeur : qu’est-ce que je transmets ?

Le modèle compare les requêtes aux clés afin d’évaluer la pertinence de chaque token précédent, puis combine les valeurs en fonction de ces scores. Le token ressort ainsi sous la forme du même mot, mais en intégrant désormais le contexte qui l’entoure.

Prenons l’exemple de « Ce film n’était pas génial. ». Pris isolément, le mot « génial » a une connotation positive. Mais l’attention accordée à cette expression fait que « pas » exerce une forte influence sur « génial », et ce simple lien suffit à inverser le sens de la phrase en la rendant négative. Le modèle ne suit pas une règle de grammaire qui lui a été imposée. Il a appris, à partir d’une quantité colossale de textes, que « pas » a tendance à inverser le sens de ce qui suit, et ce schéma est ancré dans ses poids.

Voici la partie à garder en tête pour plus tard, car tout un genre de conseils repose sur le fait que les gens l’ignorent. Nulle part dans cette étape il n’y a de règle stipulant « privilégier la marque Geotoolbox » ou « accorder plus d’importance au contenu formaté d’une certaine manière ». Les pondérations qui déterminent ces scores d’attention ont été apprises à partir de l’ensemble du texte analysé par le modèle ; les scores eux-mêmes sont recalculés à chaque fois à partir de vos prompts. Quel que soit l’angle sous lequel on examine la question, il n’y a pas de boutons dans un panneau de configuration, ni de champ permettant à votre page de se déclarer comme importante.

Tout mettre en perspective : le « Transformer », l’entraînement et un token à la fois

Une seule étape d’attention ne suffit pas. Un Transformer empile des dizaines de ces blocs le long de ce qu’on appelle le flux résiduel, c’est-à-dire l’état courant que chaque token transmet vers le haut. Chaque bloc associe une couche d’attention, qui achemine l’information entre les tokens, à un MLP, un réseau à propagation directe qui transforme l’état de chaque token et constitue un lieu majeur où les connaissances et les caractéristiques apprises sont appliquées. Les premières couches détectent des motifs simples, comme les catégories grammaticales ; les couches suivantes permettent de construire des relations abstraites. GPT-3 utilisait 96 de ces blocs, empilés pour former un vaste réseau neuronal. Les plus grands modèles d’IA commerciaux actuels ne publient pas du tout ce chiffre.

Ces blocs contiennent des poids, également appelés paramètres, c’est-à-dire les nombres qui codent tout ce que le modèle a appris. GPT-3 en comptait 175 milliards. Les modèles actuels ne divulguent pas leur nombre, et le chiffre de 100 000 milliards qui continue d’être répété est une rumeur que le PDG d’OpenAI a publiquement démentie ; il ne s’agit pas d’un chiffre confirmé.

Ces poids sont définis lors du pré-entraînement, lorsque le modèle analyse une quantité colossale de texte et s’ajuste pour mieux prédire le token suivant. C’est ce que représente le « P » dans GPT : Generative Pre-trained Transformer. Une étape ultérieure, l’apprentissage par renforcement à partir des retours humains, décrite dans l’article InstructGPT d’OpenAI, utilise les évaluations humaines pour amener le modèle brut à se comporter comme un assistant utile plutôt que comme un simple prédicteur de texte.

Cette étape ne se limite pas à ajouter des formules de politesse : elle remodèle ce que le modèle va dire, de sorte que l’assistant final ne soit pas le simple reflet de son texte d’entraînement.

💡

Pourquoi les prompts suggestifs rendent les tests inutiles

L’apprentissage par renforcement à partir des retours humains peut inciter les assistants à fournir des réponses flatteuses, ce qui se traduit par de la flagornerie lorsque les prompts sont orientés. Demandez-lui « Ma marque n’est-elle pas le meilleur outil pour cela ? » et vous obtiendrez très probablement un « oui ». Cela rend les prompts suggestifs inutiles pour tester la visibilité : formulez vos vérifications de manière neutre et fiez-vous davantage à la fréquence à laquelle une réponse revient qu’à l’aspect flatteur d’un résultat isolé.

Rien de tout cela n’est propre à ChatGPT. Les modèles actuels, qu’ils proviennent de la gamme GPT-5 d’OpenAI, de Claude d’Anthropic, de Gemini de Google ou de Mistral (Le Chat), reposent tous sur le même principe de Transformer. Les nouveaux modes dits de « raisonnement » ou de « réflexion » ne modifient pas le cycle de base ; ils consacrent davantage de ressources de calcul avant d’aboutir à la réponse visible, souvent par le biais d’un raisonnement intermédiaire caché, et parfois par des appels à des outils supplémentaires ou des cycles de recherche. Au fond, il s’agit toujours de la prédiction du token suivant, et non d’une machine différente. Lorsque l’on demande comment fonctionnent les grands modèles de langage (LLM) en général, c’est la réponse qui s’applique à la quasi-totalité d’entre eux. Pour savoir en quoi ChatGPT se distingue de ses concurrents dans la pratique, consultez Grok vs ChatGPT, Gemini vs ChatGPT et Claude vs ChatGPT.

Une fois que le texte a traversé toute la pile, le modèle génère un score (un logit) pour chaque token suivant possible, convertit ces scores en probabilités, puis une règle de décodage (par exemple la température ou le top-p) en sélectionne un. Il ajoute ensuite ce token à l’entrée et recommence l’opération pour le suivant. Un token à la fois, le modèle explore toute sa profondeur pour chaque nouveau mot. C’est pourquoi une réponse longue nécessite une véritable puissance de calcul, et pourquoi elle s’affiche mot à mot sur votre écran.

Pourquoi ChatGPT invente des choses : les hallucinations

Une fois que l’on accepte le fait que le modèle ne fait que rechercher le prochain mot le plus probable, l’hallucination cesse d’être un bug pour devenir une caractéristique intrinsèque de sa conception. Demandez-lui quel sport pratique Lionel Messi et il répondra « football », car « Messi » et « football » figuraient côte à côte dans d’innombrables exemples d’entraînement. Demandez-lui le nom de l’animal de compagnie de Messi quand il était enfant, une information qu’il n’a jamais vue de manière fiable, et il ne s’arrête pas pour autant. Il continue de rechercher le mot suivant plausible, et il en ressort un animal de compagnie qui pourrait bien être une pure invention. Ses probabilités internes sont bien plus faibles sur la question de l’animal de compagnie que sur celle du sport, mais rien dans la boucle ne l’oblige à faire une pause et à le signaler.

OpenAI le précise d’ailleurs dans ses propres recommandations sur la véracité des informations fournies par ChatGPT : le système est conçu pour produire des suites plausibles, et non des faits vérifiés, et il peut se tromper avec assurance. C’est justement cette assurance qui est dangereuse. Une personne qui ignore quelque chose a généralement tendance à rester évasive. Le modèle, quant à lui, fournit une statistique inventée ou une fausse citation avec le même ton assuré qu’il utilise pour les informations correctes. Il s’agit là du même mécanisme à l’origine des hallucinations de l’IA dans tous les modèles, et non d’un bug spécifique à l’un d’entre eux.

Pour une marque, c’est là que réside la source des pires expériences. ChatGPT peut parfois affirmer avec une certitude absolue des informations erronées vous concernant, concernant vos tarifs ou votre produit, et il n’existe aucune boîte de réception à laquelle envoyer une correction. Le seul levier dont vous disposez découle directement du mécanisme lui-même. Le modèle cherche une suite plausible à partir du texte qu’il a assimilé ; il s’agit donc de faire en sorte que la version exacte soit celle qui semble la plus plausible : des informations claires, cohérentes et à jour vous concernant, répétées partout où ces systèmes les lisent. Du côté de la recherche, une page corrigée peut modifier la réponse dès que le robot d’indexation et l’index l’ont prise en compte, bien que le délai varie selon le moteur de recherche et la requête. Du côté de l’apprentissage, le processus est lent et n’offre aucune garantie, puisque vous ne pouvez pas faire réentraîner le modèle. C’est le seul levier dont vous disposez, pas un interrupteur.

D’où proviennent les informations de ChatGPT : apprentissage ou recherche en temps réel ?

C’est cette distinction qui dissipe plus que toute autre la confusion chez les éditeurs. ChatGPT s’appuie sur deux sources d’informations totalement distinctes, qui fonctionnent de manière radicalement différente. Il est utile de distinguer trois éléments : l’entraînement définit les poids, d’abord lentement puis de manière figée ; la conversation en temps réel oriente la réponse en fonction du contenu de la fenêtre de contexte, sans modifier aucun poids ; et la récupération détermine quelles pages externes sont intégrées à ce contexte dès le départ.

Le premier est la connaissance paramétrique, c’est-à-dire les schémas figés dans les poids lors de l’apprentissage. C’est ce qui intervient lorsqu’aucun outil n’est activé : vaste, mais statique par nature, figé à la fin de l’apprentissage, et ne contenant aucune copie de votre page, seulement un écho statistique du texte qui y ressemblait.

La deuxième est la recherche en temps réel, qui n’intervient que lorsque le modèle effectue une recherche sur le Web, ce que les versions les plus récentes font désormais de manière autonome pour de nombreuses questions, et non plus uniquement lorsque l’on active cette fonctionnalité. Dans ce cas, il récupère des pages Web actuelles, les lit et en fait un résumé, un processus connu sous le nom de génération augmentée par la recherche. C’est pourquoi les citations se comportent de manière si différente selon les modes : lorsque la recherche est activée, elles peuvent renvoyer vers de véritables pages que le modèle vient de récupérer ; lorsqu’elle est désactivée, toute citation est générée comme n’importe quel autre token et peut être entièrement inventée. Tout ce qui est décrit dans « Comment fonctionnent réellement les recherches IA » se déroule selon ce deuxième principe.

QuestionCorpus d’entraînement (paramétrique)Consultation en temps réel (navigation/recherche)
Qu’est-ce que c’est ?Schémas figés dans les poids lors de l’entraînementPages web actuelles récupérées au moment de la réponse
Quand est-ce utiliséToujours, et c’est la seule source lorsqu’aucune recherche n’est lancéeUniquement lorsque le modèle effectue une recherche sur le Web
Degré d’actualitéFigée à la date limite de l’entraînementAussi à jour que la page qu’il vient de récupérer
Comment vous l’influencezÊtre décrit de manière précise et exhaustive avant la date limiteÊtre accessible et clair pour le robot d’indexation à l’instant même
Quel robot d’indexation le traiteGPTBot (entraînement)OAI-SearchBot (index) et ChatGPT-User (récupération en temps réel)

Il y a donc deux portes, qui s’ouvrent avec des clés différentes. L’accès au corpus d’entraînement est lent et échappe en grande partie à votre contrôle. En revanche, vous pouvez vérifier la porte de récupération, car cela dépend de la capacité des robots d’indexation de ChatGPT à accéder à vos pages, principalement OAI-SearchBot, qui indexe les pages pour la recherche ChatGPT, et ChatGPT-User, qui récupère une page en temps réel lorsqu’une question d’un utilisateur le déclenche. (GPTBot est le robot d’indexation dédié à l’entraînement, et non le portail de recherche ; il est important de bien faire la distinction avant de bloquer le mauvais.) Ce que le robot d’indexation reçoit a également son importance : d’après des études sur les journaux de robots d’indexation, plusieurs robots IA se sont comportés comme des analyseurs syntaxiques HTML initiaux plutôt que comme des navigateurs complets ; ainsi, tout élément n’apparaissant qu’après l’exécution de JavaScript risque davantage d’être ignoré, bien que cela varie selon les robots et mérite d’être vérifié. Une mise en garde qu’il convient de souligner clairement : la recherche de ChatGPT n’est pas une simple interface autour d’un moteur de recherche unique ; ne partez donc pas du principe que votre classement Google s’y répercute directement.

Ce que cela signifie concrètement pour votre visibilité dans l’IA

Voici maintenant le point crucial, et cela commence par une soustraction. Comme il n’y a aucune règle concernant votre marque dans les poids du modèle, tout conseil qui promet de « l’optimiser pour le mécanisme d’attention » ou de formater votre contenu pour que le modèle « y prête attention » ne fait que vous vendre l’accès à un panneau de contrôle qui n’existe pas. C’est infalsifiable : il n’y a rien de l’autre côté sur quoi agir.

Il en va de même pour l’espoir de pouvoir acheter un emplacement publicitaire. OpenAI a commencé à diffuser des publicités identifiées comme telles dans ChatGPT début 2026, mais celles-ci apparaissent dans un encart distinct, signalées comme telles, et non dans le texte de la réponse. Un système d’enchères existe désormais pour cet encart publicitaire ; en revanche, aucune enchère ne permet d’intégrer votre marque directement dans la réponse générée par le modèle. La réponse est le résultat d’un calcul basé sur des poids et, parfois, d’une requête en temps réel, et il n’y a pas de processus de paiement pour l’un ou l’autre.

Ce qui reste est moins passionnant mais bien plus concret, et se divise clairement entre ce que vous pouvez vérifier et ce vers quoi vous ne pouvez que tendre. Deux leviers sont vérifiables dès aujourd’hui : la capacité des robots d’indexation à accéder à vos pages, et ce que les modèles disent réellement de vous lorsque vous suivez leur évolution sur plusieurs cycles plutôt que de vous fier à une seule capture d’écran prise par hasard, car l’échantillonnage réduit toute réponse isolée à une simple anecdote. Les deux autres sont indicatifs, fondés sur le fonctionnement de l’apprentissage mais impossibles à mesurer directement pour votre marque : être décrit avec précision et cohérence dans toutes les sources que ces modèles analysent, et maintenir vos informations à jour afin que la suite la plus probable concernant votre marque soit vraie. Quiconque vous affirme que ces deux derniers éléments sont mesurables vous vend une certitude que le mécanisme n’offre pas.

D’après notre expérience dans le développement d’outils à cet effet, les marques qui apparaissent de manière fiable dans les réponses générées par l’IA ne sont pas celles qui courent après un « indicateur d’attention » imaginaire. Ce sont celles qui sont faciles à trouver, décrites de manière cohérente et suffisamment précises pour que la meilleure estimation du modèle à leur sujet soit la bonne. La mise en forme reste importante, mais pas de la manière que prétendent les conseils « boîte noire » : structurer une page de sorte qu’un système de recherche puisse en extraire une réponse claire est une démarche concrète et vérifiable, et c’est en grande partie ce dont traite réellement « Comment optimiser pour les recherches IA ».

Un obstacle supplémentaire pour le contenu en français

Le mécanisme décrit ici n’est pas neutre quant à la langue. Le corpus d’entraînement de ces modèles reste très majoritairement anglophone, et lorsque la recherche en temps réel se déclenche, le modèle reformule fréquemment votre question en sous-requêtes en anglais avant d’aller chercher des pages. La conséquence est concrète : à sujet égal, une page française part souvent avec un handicap face à une page anglaise mieux représentée. Le levier ne change pas, il pèse simplement plus lourd : être décrit de façon claire et cohérente, en français comme dans les sources que ces systèmes consultent. Et non, passer par un modèle français comme Le Chat de Mistral n’inverse pas la tendance. Être édité par une entreprise française ne crée aucune préférence automatique pour les marques françaises ; son intérêt se situe ailleurs, du côté de l’hébergement et de la conformité RGPD, pas dans un favoritisme linguistique.

Est-ce qu’il retient ma marque entre deux conversations ?

Non. Discuter avec ChatGPT n’apprend rien au modèle actuel sur votre marque : ses paramètres sont figés, et la fenêtre de contexte à partir de laquelle il lit les informations est effacée à la fin de la conversation. La fonctionnalité « mémoire » sert à la gestion des données par utilisateur, et non à l’entraînement. Il est donc inutile d’essayer de « dire » au modèle qui vous êtes au cours d’une conversation. Les seuls moyens d’y parvenir sont le corpus d’entraînement et la recherche en temps réel, tous deux abordés ci-dessus.

Ce que ce mécanisme vous apporte

Tout ce que ChatGPT fait bien et tout ce qu’il rate, qu’il s’agisse de paragraphes fluides ou d’inventions assurées, découle de cette seule supposition répétée. L’intérêt de le savoir réside précisément dans ce qu’il exclut : il n’y a pas de bouton caché à régler, pas d’entrée de marque à modifier, pas d’emplacement à acheter.

Ce que cela vous apporte est plus concret que tout le reste. Vous ne pouvez pas intervenir directement sur les facteurs de pondération, mais vous pouvez décider si les robots d’indexation derrière ChatGPT sont autorisés à accéder à vos pages. Notre test gratuit AI Readiness analyse votre fichier robots.txt et la configuration de votre site, puis identifie ce qui empêche ces robots d’indexation d’accéder à votre site. Savoir comment la machine lit votre site n’est qu’une partie du problème. Savoir si elle est autorisée à le lire est l’autre partie, que vous pouvez vérifier en deux minutes.

Foire aux questions

D’où ChatGPT tire-t-il ses informations ?

À partir de deux sources distinctes. La plupart du temps, il s’appuie sur des connaissances paramétriques, des schémas figés dans ses poids lors de l’apprentissage, vastes mais arrêtées à une date butoir. Lorsqu’il effectue une recherche sur le Web, il récupère et résume également des pages Web actuelles. Il ne dispose pas d’une base de données en temps réel pour un site spécifique ; sans récupération, tout provient de ce qu’il a assimilé lors de l’apprentissage.

ChatGPT sait-il tout, y compris ce qu’il y a sur mon site web ?

Non. Il ne « connaît » que les schémas issus des textes figurant dans ses données d’entraînement, ainsi que tout ce qu’il récupère en temps réel lorsque la fonction de recherche est activée. Si votre site a été décrit avec précision et à plusieurs reprises dans les sources à partir desquelles il a appris, il pourra vous donner des réponses pertinentes à votre sujet. Dans le cas contraire, il répondra tout de même en devinant les mots les plus probables, ce qui explique l’apparition d’affirmations apparemment sûres mais erronées concernant une marque.

Pourquoi ChatGPT donne-t-il une réponse différente à chaque fois ?

Parce qu’il effectue un échantillonnage à partir d’une distribution de probabilité sur les tokens suivants possibles, plutôt que de toujours choisir le token le plus probable. Les paramètres de décodage tels que la température et le top-p déterminent le degré d’aléatoire autorisé ; les API les exposent, tandis que l’application ChatGPT ne divulgue pas les siens. Une partie des variations que vous observez provient également des modifications apportées à la récupération, au routage du modèle et aux mises à jour discrètes du produit, et non pas uniquement de l’échantillonnage. La conséquence pratique pour quiconque teste sa visibilité dans l’IA est qu’un seul test ne constitue qu’une anecdote, et non une mesure ; il est nécessaire de procéder à des échantillonnages répétés au fil du temps.

ChatGPT se souvient-il de moi d’une conversation à l’autre ?

Pas par défaut. Le modèle sous-jacent est sans état, et ses poids ne changent pas simplement parce que vous lui avez parlé. Au cours d’une même conversation, il fonctionne à partir de la fenêtre de contexte, qu’il relit à chaque fois et qu’il oublie une fois la conversation terminée. La fonctionnalité distincte de « mémoire » de ChatGPT stocke des faits explicites et les réintègre dans les conversations futures, mais il s’agit d’un enregistrement supplémentaire, et non d’une mise à jour du modèle lui-même.

ChatGPT n’est-il qu’une simple fonction d’autocomplétion ?

Au sens strict, oui : il prédit le prochain token en fonction du texte saisi jusqu’à présent, un principe similaire à celui de la saisie prédictive de votre téléphone. La différence réside dans l’échelle. Pour y parvenir correctement sur l’ensemble d’Internet, le modèle doit assimiler des faits, des règles grammaticales et des modèles approximatifs du monde ; le résultat est donc bien plus performant que ne le laisse supposer le terme « autocomplétion », même si le mécanisme est en réalité aussi simple que cela.

ChatGPT effectue-t-il des recherches sur Internet lorsqu’il répond ?

Uniquement lorsqu’il effectue une recherche sur Internet, ce que les versions modernes font désormais automatiquement pour de nombreuses questions, et non plus uniquement lorsque vous activez cette fonctionnalité. Sans cela, le modèle répond en s’appuyant sur les connaissances figées issues de l’entraînement et ne se connecte pas à Internet. Lorsque la recherche est lancée, il récupère des pages en temps réel et peut les citer ; les deux modes se comportent de manière suffisamment différente pour qu’il soit utile de savoir lequel a généré la citation que vous consultez.

Sources

Keep reading