Actualités IA
Comment entraîne-t-on une IA ?
Le pipeline complet, de la collecte des données au déploiement — et les questions de coût que tout le monde se pose.
Étape 1
Collecte des données
Rassembler un corpus massif de texte (pages web, livres, code, articles scientifiques...), et de plus en plus d'images, d'audio ou de vidéo pour les modèles multimodaux. La taille et la qualité de ce corpus sont un facteur déterminant de la performance finale du modèle.
Étape 2
Nettoyage
Éliminer les doublons, le contenu de mauvaise qualité, le spam, et filtrer les contenus problématiques (données personnelles, contenus illégaux). Une étape coûteuse en ingénierie, souvent sous-estimée dans les discussions publiques sur l'IA.
Étape 3
Préparation
Découper les données en tokens (voir notre page sur le fonctionnement d'un LLM), les organiser en lots d'entraînement, et parfois enrichir le corpus avec des données synthétiques générées par d'autres modèles.
Étape 4
Pré-entraînement
La phase la plus coûteuse en calcul : le modèle apprend à prédire le prochain token sur l'ensemble du corpus, ajustant progressivement des milliards ou billions de paramètres. C'est ici que se jouent l'essentiel des coûts en GPU et en électricité (voir notre page dédiée).
Étape 5
Fine-tuning (affinage)
Une fois pré-entraîné sur du texte brut, le modèle est réentraîné sur un jeu de données plus restreint et de meilleure qualité pour le spécialiser — par exemple, lui apprendre à suivre des instructions plutôt que simplement continuer un texte.
Étape 6
RLHF (apprentissage par renforcement à partir de retours humains)
Des évaluateurs humains comparent plusieurs réponses du modèle à une même question et indiquent leur préférence. Ces préférences servent à entraîner le modèle à produire des réponses jugées plus utiles, plus sûres ou plus alignées avec les attentes humaines.
Étape 7
RLAIF (apprentissage par renforcement à partir de retours d'IA)
Une variante du RLHF où c'est un autre modèle d'IA, plutôt qu'un humain, qui évalue et note les réponses — une méthode qui permet de réduire le coût et le temps du processus, au prix d'une dépendance à la qualité du modèle évaluateur.
Étape 8
Post-training
L'ensemble des étapes d'affinage après le pré-entraînement (fine-tuning, RLHF/RLAIF, et d'autres techniques) — c'est souvent à ce stade que se jouent les différences perçues de « personnalité » ou de comportement entre deux modèles proches techniquement.
Étape 9
Évaluation
Mesurer les performances du modèle sur des benchmarks standardisés (voir notre future page dédiée aux benchmarks) et des tests internes, avant toute mise à disposition publique.
Étape 10
Red teaming
Faire tester le modèle par des équipes dédiées à trouver ses failles : réponses dangereuses, biais, façons de contourner ses garde-fous (jailbreaks). Une étape de sécurité désormais standard chez les grands laboratoires avant le déploiement d'un modèle frontière.
Étape 11
Déploiement
Mettre le modèle à disposition via une application (comme ChatGPT ou Claude.ai) et/ou une API, avec l'infrastructure nécessaire pour répondre à des millions de requêtes simultanées.
Étape 12
Inférence
La phase d'usage courant, où le modèle déployé répond aux requêtes des utilisateurs — voir notre page sur le fonctionnement d'un LLM pour le détail de ce mécanisme.
Les questions de coût
Combien coûte l'entraînement d'un grand modèle ?
Les laboratoires ne publient quasiment jamais ce chiffre précisément. Des estimations indépendantes évoquent des dizaines à plusieurs centaines de millions de dollars pour le seul pré-entraînement d'un modèle frontière, sans compter les coûts de recherche, de personnel et d'infrastructure amortis sur plusieurs projets. Traitez tout chiffre précis avancé dans la presse avec prudence : il s'agit presque toujours d'une estimation, pas d'un chiffre officiel.
Combien de données faut-il ?
Les corpus d'entraînement des grands modèles actuels se comptent en milliers de milliards de tokens — l'équivalent de plusieurs millions de livres. Le chiffre exact n'est, là encore, presque jamais communiqué précisément par les laboratoires.
Combien de GPU faut-il ?
Les entraînements les plus importants mobilisent aujourd'hui des dizaines de milliers de GPU (voir notre page sur les GPU et l'infrastructure) pendant plusieurs semaines à plusieurs mois, en continu.
Combien d'électricité cela consomme-t-il ?
Un entraînement de plusieurs semaines sur des dizaines de milliers de GPU haut de gamme peut consommer l'équivalent de la production électrique annuelle de plusieurs milliers de foyers — un ordre de grandeur, pas un chiffre précis, faute de données officielles systématiquement publiées par les laboratoires.
Combien de temps prend un entraînement complet ?
De quelques semaines à plusieurs mois pour le seul pré-entraînement d'un modèle frontière, auxquels s'ajoutent les phases de post-training, d'évaluation et de red teaming avant toute mise à disposition publique.
Pourquoi tant de puissance de calcul ?
NVIDIA, AMD, TPU, data centers : notre page dédiée aux GPU et à l'infrastructure.
GPU et infrastructure →