Comment fonctionne un LLM ?

Niveau 1

Comprendre en 5 minutes

Un grand modèle de langage (LLM) ne « comprend » pas le texte comme un humain. C'est un système statistique entraîné à prédire, mot après mot (plus précisément, fragment après fragment), la suite la plus probable d'un texte — en s'appuyant sur des milliards d'exemples lus pendant son entraînement.

Concrètement, quand vous posez une question à ChatGPT ou Claude, le modèle découpe votre texte en petits morceaux (des tokens), les convertit en une représentation numérique, puis génère sa réponse en prédisant le token le plus probable, encore et encore, jusqu'à former une phrase cohérente.

Ce mécanisme de prédiction, entraîné sur des quantités massives de texte, suffit à produire des réponses qui semblent souvent raisonner, résumer ou créer — sans qu'il y ait, à notre connaissance scientifique actuelle, de compréhension consciente derrière.

Niveau 2

Comprendre techniquement

Tokens

Un modèle ne traite pas le texte lettre par lettre ni mot par mot, mais par tokens : des fragments de texte (souvent des sous-mots) obtenus par un algorithme de découpage appris sur un grand corpus. Le mot « intelligence » peut par exemple être découpé en deux ou trois tokens selon le modèle. C'est aussi l'unité de facturation des API (voir nos fiches modèles pour les prix par million de tokens).

Embeddings

Chaque token est converti en un embedding : un vecteur de plusieurs centaines ou milliers de nombres qui représente sa signification dans un espace mathématique. Des mots au sens proche (« roi », « reine ») ont des embeddings mathématiquement proches — c'est cette représentation qui permet au modèle de manipuler du sens sous forme de calculs.

Transformer et attention

La quasi-totalité des LLM actuels reposent sur une architecture appelée Transformer (introduite par des chercheurs de Google en 2017), dont le composant central est le mécanisme d'attention : pour chaque token généré, le modèle « pèse » l'importance de tous les autres tokens du contexte pour décider quoi produire ensuite. C'est ce mécanisme qui permet à un modèle de rester cohérent sur un texte long, en se souvenant qu'un pronom fait référence à un nom cité bien plus tôt.

Paramètres

Les paramètres sont les valeurs numériques internes du modèle, ajustées pendant l'entraînement — l'équivalent de sa « mémoire » apprise. Les modèles actuels en comptent de plusieurs dizaines à plusieurs milliers de milliards (voir nos fiches modèles pour des exemples concrets, comme Qwen3.8-Max et ses 2,4 billions de paramètres).

Contexte

La fenêtre de contexte est la quantité maximale de texte (en tokens) qu'un modèle peut prendre en compte à la fois — la conversation en cours, un document joint, etc. Elle varie aujourd'hui d'environ 128 000 à plus d'un million de tokens selon les modèles (voir notre comparateur).

Inférence

L'inférence est la phase où le modèle, déjà entraîné, génère une réponse à partir d'une nouvelle requête — par opposition à l'entraînement, où ses paramètres sont ajustés. C'est ce qui se produit chaque fois que vous envoyez un message à un assistant IA.

Température

La température est un réglage qui contrôle le degré d'aléatoire dans le choix du prochain token : une température basse rend les réponses plus prévisibles et déterministes, une température élevée les rend plus variées et créatives — au prix, parfois, d'une cohérence moindre.

Hallucinations

On appelle hallucination le fait qu'un modèle génère une information fausse ou inventée avec la même assurance apparente qu'une information correcte. C'est une conséquence directe de son fonctionnement : le modèle produit le texte statistiquement le plus plausible, pas nécessairement le texte le plus vrai. Aucun LLM actuel n'élimine totalement ce risque.

Raisonnement

Certains modèles récents intègrent une phase de « raisonnement » explicite avant de répondre : ils génèrent une suite d'étapes intermédiaires (parfois masquées à l'utilisateur) avant de produire la réponse finale, ce qui améliore les performances sur des tâches complexes (mathématiques, code) au prix d'un temps de réponse plus long.

Outils et mémoire

De plus en plus de modèles peuvent aussi appeler des outils externes (recherche web, exécution de code, navigation) plutôt que de répondre uniquement à partir de ce qu'ils ont appris pendant l'entraînement, et disposer d'une forme de mémoire persistante entre les conversations. C'est le principe même des agents IA, un sujet que nous détaillerons dans une prochaine rubrique dédiée.