Un client m'a demandé la semaine dernière pourquoi son chatbot répondait « Je ne peux pas vous aider avec ça » à une question parfaitement légitime sur ses propres tarifs. Il pensait que le bot était cassé. Il ne l'était pas. Il faisait exactement ce qu'on lui avait appris à faire — et c'est là toute la difficulté quand on cherche à comprendre les modèles de langage utilisés par les chatbots.
Ce que la plupart des gens imaginent, c'est une base de connaissances qu'on interroge. La réalité est plus étrange : un immense calcul de probabilités, mot après mot, sans aucune intention derrière.
Points clés à retenir
- Un LLM (large language model) ne « cherche » pas une réponse : il prédit le mot suivant, encore et encore.
- Le passage d'un modèle brut à un chatbot utile tient à trois étapes : pré-entraînement, affinage, alignement par retour humain.
- La « température » règle le curseur entre réponses prévisibles et créatives — un paramètre que presque personne ne règle correctement.
- Un bot à règles fixes et un bot génératif n'ont rien à voir techniquement, même s'ils se ressemblent à l'écran.
- La fiabilité vient rarement du modèle seul : elle vient de ce qu'on met autour de lui.
Ce qui se passe vraiment quand un chatbot vous répond
Oubliez l'image du moteur de recherche. Quand vous tapez « quel est le délai de rétractation pour un achat en ligne », le modèle ne va pas consulter une fiche. Il découpe votre phrase en morceaux, calcule pour chaque mot candidat une probabilité, en choisit un, puis recommence avec ce nouveau mot comme point de départ.
Ce découpage s'appelle la tokenisation. Un token, c'est une bribe de mot : « rétractation » peut compter pour deux ou trois tokens selon le vocabulaire du modèle. La phrase entière devient une suite de nombres, et le réseau de neurones travaille sur ces nombres.
La génération token par token
Concrètement, à chaque étape le modèle produit une distribution de probabilités sur l'ensemble de son vocabulaire — souvent plusieurs dizaines de milliers de tokens. « Le » a 12 % de chances, « Un » en a 8 %, « Votre » en a 5 %, et ainsi de suite. On tire un token selon ces probabilités, on l'ajoute à la séquence, et on relance le calcul.
Ce qui donne cette impression de fluidité, c'est la fenêtre de contexte : le modèle garde en mémoire un long bloc de tokens précédents pour rester cohérent. Au-delà, il oublie. C'est pour ça qu'un chatbot peut très bien suivre une conversation pendant vingt messages puis perdre totalement le fil.
Franchement, quand je l'ai compris pour la première fois, ça a changé ma façon de lire les réponses. Ce n'est pas un raisonnement. C'est un enchaînement statistique très bien entraîné.
Température et top-p : les deux boutons que personne ne touche
La température contrôle l'audace du tirage. Basse, le modèle prend presque toujours le token le plus probable : réponses stables, un peu plates, parfois répétitives. Haute, il accepte des tokens moins probables : texte plus varié, mais aussi plus de dérapages.
Le top-p fait un travail voisin : il limite le tirage aux tokens qui cumulent un certain pourcentage de probabilité, et coupe la queue de distribution. Sur un bot de support client, vous voulez une température basse et un top-p serré. Sur un assistant créatif, l'inverse.
J'ai vu une équipe se plaindre pendant des semaines que son bot inventait des remboursements qui n'existaient pas. Le modèle n'était pas en cause. La température était réglée à 0,9 par défaut, personne n'avait regardé.
Comment on entraîne un modèle de langage, étape par étape
Un modèle qui sort brut de son entraînement initial n'est pas un chatbot. C'est un compléteur de texte. La différence se joue dans deux phases supplémentaires, et c'est probablement l'angle le plus mal expliqué quand on parle de LLM.
Le pré-entraînement : avaler du texte à grande échelle
On expose le réseau à des volumes de texte considérables — pages web, livres, code, documentation — et on lui demande inlassablement de prédire le token masqué ou suivant. À force, il apprend la grammaire, les tournures, des associations de concepts, une certaine logique.
Cette phase coûte cher. Très cher. Elle mobilise des milliers de GPU pendant des semaines, et le seul coût énergétique se compte en gigawattheures. C'est la raison pour laquelle très peu d'acteurs peuvent réellement entraîner un modèle de zéro.
L'affinage et l'alignement par retour humain
Ensuite vient l'affinage : on réentraîne le modèle sur des exemples de dialogues bien formés, questions/réponses, instructions suivies correctement. Le modèle apprend le format attendu, pas juste la langue.
Puis le RLHF — apprentissage par renforcement avec retour humain. Des annotateurs comparent plusieurs réponses à une même question et désignent la meilleure. Un modèle de récompense apprend ces préférences, et le modèle principal est optimisé pour les satisfaire. C'est cette étape qui transforme un générateur de texte en assistant poli, prudent, qui refuse certaines demandes.
Et là, surprise : les refus excessifs dont se plaignent tant d'utilisateurs ne viennent pas d'un bug. Ils viennent d'un alignement trop prudent, souvent par peur des dérapages.
| Type de chatbot | Fonctionnement | Ce qu'il sait faire | Limite principale |
|---|---|---|---|
| À règles fixes | Arbre de décision écrit à la main | Répondre à des cas prévus à l'avance | Ne gère rien d'imprévu |
| À intention (NLP classique) | Classification d'intention + scénarios | Router vers la bonne réponse | Se trompe dès qu'on sort du script |
| Génératif (LLM) | Prédiction token par token | Répondre à presque tout, reformuler, résumer | Peut inventer, manque de constance |
| Hybride | LLM + base de connaissances + garde-fous | Combiner flexibilité et exactitude | Plus complexe à maintenir |
Que signifie l'acronyme « costar » ?
L'acronyme COSTAR désigne une grille de rédaction de prompts, pas une technologie de chatbot. Les lettres correspondent à Context, Objective, Style, Tone, Audience et Response — autrement dit : le contexte, l'objectif, le style attendu, le ton, le public visé et le format de réponse souhaité.
C'est une méthode pour structurer une consigne destinée à un modèle de langage, de la même famille que d'autres grilles du même genre. Elle n'a rien à voir avec l'architecture interne du modèle : elle agit uniquement sur l'entrée qu'on lui fournit.
Dans mon usage, COSTAR aide surtout à ne rien oublier. Le public et le format sont les deux éléments qu'on saute le plus souvent, et ce sont ceux qui changent le plus le résultat.
LLM et droit : ce que ça change vraiment
Le sujet monte vite dans les services juridiques, et pour une bonne raison : un modèle de langage lit vite, résume bien, repère des schémas dans des contrats. Le problème, c'est tout ce qui se trouve autour.
Confidentialité et fuite de données
Quand vous collez un contrat dans un chatbot grand public, vous ne savez en général pas si ce texte sert à entraîner le modèle, où il est stocké, ni combien de temps. Pour un document sous secret professionnel, c'est un problème direct.
Les solutions existent — déploiement privé, désactivation de la rétention, contrats spécifiques — mais elles demandent de vérifier la configuration réelle, pas la page marketing.
Hallucinations et responsabilité
Un LLM produit du texte plausible, pas du texte vrai. Une clause inventée a l'air aussi crédible qu'une clause réelle. La responsabilité, elle, reste entièrement sur le professionnel qui signe.
Obligations et cadre applicable
Les réglementations autour de l'IA se sont densifiées, avec des obligations de transparence et d'information selon l'usage. Le point pratique : un chatbot qui interagit avec des clients doit généralement signaler qu'il n'est pas humain. Ce n'est pas une option de confort, c'est souvent une exigence légale.
Ce que ça implique pour votre choix de chatbot
Un modèle brut ne suffit jamais. Ce qui fait la différence en production, c'est ce qu'on empile autour : une base documentaire vérifiée, une recherche qui va chercher la bonne source avant de générer, des garde-fous qui bloquent les sujets sensibles, un journal des échanges pour détecter les dérives.
La technique qui a le plus changé mes résultats n'a rien de spectaculaire : forcer le bot à citer sa source avant de répondre. Le taux d'inventions a chuté net, parce que le modèle ne peut plus broder sans être immédiatement repéré.
L'autre leçon, plus contre-intuitive : un modèle plus petit, bien encadré, bat souvent un modèle géant mal configuré. J'ai vu ça sur au moins deux projets, dont un où le passage à un modèle plus modeste a divisé les coûts d'inférence sans dégrader la satisfaction mesurée.
Le vrai enjeu n'est donc pas de choisir le modèle le plus récent. C'est de comprendre que tout ce qui fait la qualité d'un chatbot se joue avant et après le modèle lui-même — dans la façon dont on l'entraîne, dont on l'aligne, et dont on l'encadre.
Et si votre bot répond mal, posez-vous d'abord cette question : est-ce que j'ai vraiment réglé autre chose que le bouton « démarrer » ?
