Les benchmarks (tests de référence standardisés) occupent une place centrale dans la communication des laboratoires d’IA sur les performances de leurs modèles. Comprendre ce qu’ils mesurent réellement permet de mieux interpréter les annonces qui s’appuient sur eux.

Des tests conçus pour des tâches précises

Un benchmark comme SWE-bench, par exemple, évalue la capacité d’un modèle à résoudre de véritables tickets de correction de bugs logiciels. D’autres benchmarks mesurent le raisonnement mathématique, la compréhension de texte ou encore les préférences exprimées par des évaluateurs humains comparant les réponses de plusieurs modèles. Chaque benchmark mesure donc une capacité précise, pas une intelligence générale.

Pourquoi un même modèle peut dominer un classement et pas un autre

Un modèle particulièrement performant sur un benchmark de correction de code n’est pas nécessairement le plus performant sur un test de raisonnement mathématique, ou sur un classement fondé sur les préférences humaines. Les laboratoires ont donc tendance, légitimement, à mettre en avant les benchmarks sur lesquels leur modèle se classe le mieux.

Le risque de la sur-optimisation

Un biais méthodologique bien documenté dans le secteur consiste, pour un modèle, à être spécifiquement entraîné ou ajusté pour exceller sur les benchmarks les plus utilisés dans la communication — un phénomène parfois appelé « surapprentissage du benchmark » — ce qui peut créer un écart entre les scores affichés et les performances observées dans des usages réels et variés.

Comment lire un score de benchmark avec du recul

Un score de benchmark reste une information utile, mais partielle. Il gagne à être croisé avec plusieurs sources (plusieurs benchmarks différents, retours d’usage réels, comparaisons indépendantes) plutôt que pris isolément comme preuve définitive de la supériorité d’un modèle sur un autre.