Benchmarks LLM : comprendre MMLU, GPQA, SWE-bench et les autres

Chaque nouveau modèle d’IA arrive avec son tableau de scores : MMLU, GPQA Diamond, SWE-bench, Humanity’s Last Exam, ARC-AGI. Les chiffres montent, les records tombent, et chaque éditeur se déclare premier sur quelque chose. Pour un dirigeant ou un responsable formation qui doit choisir un outil, ce vocabulaire ressemble à du charabia. Il se déchiffre pourtant assez bien quand on sait ce que mesure chaque test, qui l’a construit et pourquoi un score de 96 % peut ne plus rien vouloir dire. Ce guide des benchmarks LLM fait le tour des tests qui comptent en 2026, des classements qui les agrègent et des cinq questions à poser avant de croire un chiffre.

Cet article complète notre comparatif IA générative, qui aide à choisir un assistant selon vos outils, vos données et votre usage. Si le terme « LLM » vous est nouveau, commencez par notre guide des modèles de langage.

En bref

• Un benchmark LLM est un examen standardisé : les mêmes questions, la même correction, pour tous les modèles. Il en existe pour la culture générale, la science, le code, le raisonnement et les agents.
• Les tests vieillissent vite : MMLU, GPQA Diamond et l’AIME ne résistent plus aux meilleurs modèles, qui y frôlent ou franchissent les 90 %. Ils ne départagent plus grand-chose.
• La contamination fausse les scores : en février 2026, OpenAI a cessé de publier ses résultats sur SWE-bench Verified, parce qu’une partie des tâches était mal construite et que les modèles testés savaient reproduire certaines corrections attendues.
• Les conditions de test changent tout : chez Artificial Analysis, un même modèle, Claude Opus 5.5, passe de 35 à 58 points selon le niveau d’effort de raisonnement demandé.
• Verdict : un benchmark indique une tendance, jamais votre résultat. Seul un test sur vos propres tâches tranche.
• Pour aller plus loin : notre formation pour évaluer un modèle d’IA avant de l’adopter fait passer vos équipes de la lecture des classements aux tests sur leurs propres dossiers.

Qu’est-ce qu’un benchmark LLM ?

Un benchmark est un jeu de questions ou de tâches, publié avec sa méthode de correction, sur lequel on fait passer plusieurs modèles pour les comparer. Le principe est celui d’un examen national : même sujet, même barème, copies corrigées de la même manière. Le score s’exprime le plus souvent en pourcentage de réponses justes.

On distingue trois grandes familles.

La première pose des questions à réponse unique : QCM, réponse numérique, réponse courte. MMLU, GPQA, Humanity’s Last Exam ou l’AIME en font partie. La correction est automatique et rapide, ce qui explique leur succès.

La deuxième confie au modèle une tâche réelle, puis vérifie le résultat. Corriger un bug dans un vrai logiciel (SWE-bench), exécuter une série de commandes dans un terminal, cette fenêtre où les informaticiens tapent leurs instructions (Terminal-Bench), accomplir une démarche sur un ordinateur (OSWorld) ou trouver une information hors de portée d’une simple recherche (BrowseComp). Ces tests sont plus proches du travail réel. Ils coûtent aussi plus cher à construire.

La troisième ne corrige rien : elle demande à des humains de voter. Deux modèles anonymes répondent à la même question, l’utilisateur choisit la réponse qu’il préfère. C’est le principe d’Arena et, en français, de compar:IA. On mesure alors ce que les gens préfèrent, ce qui ne garantit pas l’exactitude.

Une précision de vocabulaire : un benchmark évalue un modèle (GPT-6 Astra, Claude Opus 5.5, Gemini 4 Argon), pas une application. ChatGPT, Claude ou Gemini peuvent faire tourner plusieurs modèles selon votre abonnement, et le score affiché dans un tableau ne dit pas lequel vous utiliserez.

Les benchmarks à connaître

Inutile de les retenir tous. Une dizaine reviennent dans presque toutes les annonces. Le tableau résume ce qu’ils mesurent et où ils en sont ; les sections suivantes les détaillent.

MMLU : le test de culture générale

MMLU (Measuring Massive Multitask Language Understanding) a été publié en septembre 2020 par Dan Hendrycks et une équipe majoritairement issue de Berkeley. Il réunit environ 16 000 questions à choix multiples dans 57 matières, des mathématiques élémentaires au droit, et son article d’origine montrait que le plus gros GPT-3 ne faisait qu’une vingtaine de points de mieux que le hasard.

Six ans plus tard, MMLU ne départage plus personne. Les meilleurs modèles dépassent 90 % depuis o1 d’OpenAI en 2024, au-delà de la référence de 89,8 % que les auteurs du test estimaient pour des experts humains. Pire, une équipe de l’université d’Édimbourg a montré dans « Are We Done with MMLU? » que 6,49 % des questions contiennent des erreurs. Dans certaines matières, comme la virologie, plus de la moitié des questions examinées posent problème. Au-delà d’un certain score, un modèle qui progresse encore apprend surtout les erreurs du test.

Une version plus difficile, MMLU-Pro, passe de 4 à 10 choix de réponse et fait baisser les scores de 16 à 33 %. Elle reste citée, mais elle s’approche à son tour du plafond.

GPQA Diamond : la science de niveau doctorat

GPQA (Graduate-Level Google-Proof Q&A) a été conçu en 2023 à l’université de New York. Ses questions de biologie, de physique et de chimie sont dites « Google-proof » : impossible d’y répondre en cherchant sur le web. Les résultats publiés le confirment. Des experts du domaine, doctorants ou docteurs, obtiennent 65 %. Des non-spécialistes très qualifiés, avec un accès illimité à internet et plus de 30 minutes par question en moyenne, plafonnent à 34 %.

GPQA Diamond en est le sous-ensemble le plus exigeant : 198 questions. C’est le chiffre qu’on voit dans les annonces. Le meilleur score mesuré par Artificial Analysis atteint 96,3 %, pour GPT-6 Astra. Or Epoch AI estimait en 2025, par une extrapolation qu’il juge lui-même fragile, qu’environ 8 % des questions de GPQA Diamond pourraient être invalides. Un modèle à 96 % répond donc probablement « juste » à des questions dont la bonne réponse est contestable. Le test est saturé.

SWE-bench : du code réel, puis la contamination

SWE-bench est né à Princeton en octobre 2023 avec une idée forte : au lieu d’exercices d’école, donner au modèle de vrais signalements de bugs tirés de 12 logiciels Python populaires, puis lancer les tests du projet pour vérifier la correction. Au lancement, le meilleur modèle, Claude 2, résolvait 1,96 % des 2 294 tâches.

En août 2024, OpenAI publie SWE-bench Verified : 500 tâches relues par 93 développeurs, après élimination des énoncés flous et des tests injustes. GPT-4o y obtient 33,2 %. Le benchmark devient la référence du code pendant un an et demi.

Puis il casse. Le 23 février 2026, OpenAI annonce qu’il ne publiera plus de score sur SWE-bench Verified. Ses équipes ont réexaminé 138 tâches difficiles : 59,4 % avaient des défauts de tests ou d’énoncé. Surtout, tous les modèles de pointe testés savaient, pour certaines tâches, reproduire mot pour mot la correction humaine d’origine. Ils l’avaient vue pendant leur entraînement. Les scores étaient passés de 74,9 % à 80,9 % en six mois, sans qu’on sache ce qui relevait du progrès ou de la mémoire. Epoch AI classe désormais ce benchmark comme défaillant.

Le relais est pris par SWE-bench Pro, publié par Scale AI : 1 865 tâches plus longues, dont une partie n’est pas publiée et une autre vient de logiciels d’entreprise non publics. Fin 2025, le classement de Scale AI ne plaçait aucun modèle au-dessus de 45 %.

Humanity’s Last Exam : le test des experts

Humanity’s Last Exam (HLE) a été lancé en janvier 2025 par le Center for AI Safety et Scale AI. Près de 1 000 experts de 50 pays ont rédigé des questions à la frontière de leur discipline, dans plus de 100 domaines. Le jeu public compte 2 500 questions, et un jeu privé est gardé à part pour détecter la triche. Au lancement, les meilleurs modèles plafonnaient sous 15 %.

En septembre 2026, le classement tenu par Scale AI place GPT-6 Astra à 54,8 %. Le test départage encore, mais il a ses failles : un audit de FutureHouse a estimé qu’environ 29 % des réponses de référence en chimie et en biologie étaient contredites par la littérature scientifique. L’équipe de HLE, après sa propre vérification, ramène ce chiffre à environ 18 %. Dans les deux cas, ce n’est pas négligeable.

ARC-AGI : les énigmes que les humains réussissent

ARC-AGI, créé par François Chollet, prend le contre-pied des autres tests. Pas de connaissances, seulement des énigmes visuelles : une grille de couleurs, quelques exemples, et il faut deviner la règle. ARC-AGI-2, lancé en mars 2025, a été testé auprès de 407 personnes ; chaque tâche retenue a été résolue par au moins deux d’entre elles. Au lancement, les grands modèles de langage seuls obtenaient 0 %, et les meilleurs systèmes de raisonnement quelques pour cent seulement.

La fondation ARC Prize a lancé en mars 2026 ARC-AGI-3, composé de 135 petits jeux interactifs où l’IA doit découvrir seule les règles en agissant. Des humains les ont tous réussis. Les modèles de pointe obtenaient moins de 1 % au lancement. Le score mesure aussi l’efficacité : combien d’actions il faut à la machine, par rapport à un humain.

Le rapport technique de la compétition 2025 contient un aveu utile : les organisateurs y relèvent des signes de sur-apprentissage (le modèle a appris le test plutôt que la compétence) sur leurs propres tests. Un modèle utilisait spontanément les couleurs d’ARC dans son raisonnement, sans qu’on lui ait dit qu’il s’agissait d’ARC.

AIME : le concours de mathématiques

L’AIME est un concours américain de mathématiques pour lycéens, conçu bien avant l’IA : 15 problèmes en trois heures, réponses entières de 0 à 999. Les éditeurs le citent beaucoup, et les meilleurs modèles dépassaient déjà 94 % en 2025, comme GPT-5 sur l’édition de cette année-là. L’équipe de MathArena, à l’ETH Zurich, a montré que l’édition 2024 était largement contaminée, avec des scores gonflés de 10 à 20 %, et que huit problèmes de l’édition 2025 circulaient déjà en ligne sous une forme proche. D’où la règle de MathArena : n’évaluer que sur les concours parus après l’entraînement du modèle.

Les tests d’agents : Terminal-Bench, OSWorld, BrowseComp, τ²-bench

Une nouvelle génération de tests mesure ce qu’un modèle fait, en plus de ce qu’il sait : ce sont les tests d’agents, des systèmes qui enchaînent seuls plusieurs actions.

Terminal-Bench lui confie des tâches en ligne de commande (installer, configurer, déboguer), chacune vérifiée par des tests sur l’état final de la machine. Sa version 2.0 comptait 89 tâches, chacune relue pendant environ trois heures. En 2026, les annonces citent déjà la version 4.0 : Claude Opus 5.5 y affiche 66,4 % selon Anthropic.

OSWorld fait travailler le modèle sur un vrai ordinateur, avec ses fenêtres et ses logiciels. Les humains y réussissent 72 % des tâches. Le rapport AI Index 2026 de Stanford note que les meilleurs systèmes sont passés d’environ 5 % en 2024 à 66,3 % en 2025.

BrowseComp, conçu par OpenAI, pose des questions dont la réponse demande des heures de recherche en ligne. Des humains entraînés n’en ont résolu que 29,2 %, abandonnant le reste après deux heures. Les meilleurs systèmes dépassent désormais 90 %, mais dans des configurations très différentes, parfois avec plusieurs agents en parallèle.

Dernier exemple, τ²-bench simule un service client (commerce, compagnie aérienne, télécoms) où l’IA doit suivre des règles métier face à un client simulé.

💡 À ne pas confondre avec un assistant : ces tests mesurent des agents, c’est-à-dire des systèmes qui enchaînent seuls plusieurs actions. Un bon score n’implique pas qu’un assistant conversationnel fasse la même chose avec votre abonnement. Pour comprendre et déployer les agents IA, consultez notre formation aux agents IA.

Les classements qui agrègent les tests

Peu de gens lisent les scores benchmark par benchmark. On consulte plutôt des classements qui les réunissent. Trois font référence, et ils ne mesurent pas la même chose.

Arena : la préférence humaine à l’aveugle

Arena, longtemps appelée Chatbot Arena puis LMArena, est née à l’université de Berkeley en 2023. Le principe : un internaute pose sa question, deux modèles anonymes répondent, il vote, puis les noms apparaissent. Les votes sont convertis en score par un modèle statistique proche du classement Elo des échecs. Arena revendique plusieurs dizaines de millions de votes, tous types de contenus confondus.

Un modèle peut difficilement apprendre Arena par cœur, puisque les questions viennent du public et changent sans cesse. En revanche, elle récompense ce qui plaît, que ce soit exact ou non. Une réponse longue, bien présentée et assurée gagne souvent contre une réponse juste mais sèche. En avril 2025, une équipe conduite par Cohere a publié « The Leaderboard Illusion ». Ses auteurs y reprochent aux grands éditeurs de tester en privé de nombreuses variantes avant de garder la meilleure : 27 pour Meta avant Llama 4. Arena a contesté plusieurs chiffres et promis plus de transparence, par exemple en signalant comme « provisoires » certains scores.

Artificial Analysis : un indice composite

Artificial Analysis, société indépendante installée à San Francisco, fait passer elle-même une batterie de tests à chaque modèle et en tire un indice unique. La version 5 de son indice, publiée le 27 octobre 2026, repose sur quatre pôles de poids égal : travail de bureau, code, sciences et connaissances générales. Environ 60 % de l’indice s’appuie sur des tests privés ou dont les réponses ne sont pas publiées, précisément pour échapper à la contamination.

La note de présentation de cette version donne un exemple frappant : Claude Opus 5.5 obtient 35 points avec un effort de raisonnement « bas » et 58 points avec l’effort « maximal ». Le coût par tâche passe de 0,98 $ à 10,04 $. Le modèle ne change pas : il gagne 23 points, et la facture est multipliée par dix. Notre comparatif IA générative donne le classement actuel.

compar:IA : le classement en français

compar:IA est un service public lancé en octobre 2024 par le ministère de la Culture et la DINUM (direction interministérielle du numérique). Il reprend le principe d’Arena, en français : deux réponses anonymes, un vote. Selon son article de présentation, il comptait début 2026 plus de 600 000 questions (dont 89 % en français) et 250 000 votes. Depuis novembre 2025, il publie un classement calculé avec le PEReN, le pôle d’expertise numérique de l’État. Les données sont ouvertes.

C’est le seul classement qui reflète des usages en français. La page du classement prévient elle-même : il mesure la satisfaction, pas la performance technique ni la véracité des réponses, et ne vaut pas recommandation officielle. Il affiche aussi une estimation de l’impact environnemental de chaque modèle.

Pourquoi les scores trompent

Un score dit souvent moins que ce qu’on lui fait dire. Quatre mécanismes l’expliquent.

La saturation

Quand les meilleurs modèles dépassent 90 %, les écarts restants tiennent souvent aux erreurs du test lui-même. Le rapport AI Index 2026 constate que l’IA dépasse désormais la référence humaine sur plusieurs benchmarks. Un test saturé mesure surtout qui a le mieux appris ses défauts.

La contamination

Les modèles sont entraînés sur une large part du web, où les questions des benchmarks publics finissent par circuler. Une étude de Scale AI publiée en 2024 a recréé un jeu de problèmes de mathématiques inédits, calqué sur un test connu : certains modèles y perdaient jusqu’à 8 points. Ils avaient retenu le test d’origine plus qu’ils ne savaient résoudre ce type de problème. Le cas de SWE-bench Verified, raconté plus haut, est le plus spectaculaire.

Les erreurs dans les questions

Pour MMLU, 6,49 % des questions sont fautives ; pour GPQA Diamond, environ 8 % pourraient l’être ; pour une partie de Humanity’s Last Exam, entre 18 et 29 % selon l’auteur du décompte. Construire un test parfait est presque impossible, et ses défauts apparaissent quand les modèles approchent du plafond.

Les conditions de test

Niveau d’effort de raisonnement, accès à des outils (recherche web, exécution de code), nombre d’essais retenus : chaque réglage déplace le score. L’éditeur choisit souvent les siens. Prenez Terminal-Bench-Science, une variante scientifique de Terminal-Bench : GPT-6 Astra y affiche 64,6 % dans le tableau d’Anthropic, qui reprend le chiffre communiqué par OpenAI. Artificial Analysis, qui refait la mesure elle-même, obtient 63 %. Même modèle, même test, deux chiffres.

Comment lire une annonce de modèle

Face à un tableau de scores, cinq questions suffisent à remettre les chiffres à leur place.

1. Le test est-il saturé ? Un gain de deux points sur MMLU ou GPQA Diamond ne veut presque rien dire. Regardez plutôt les tests encore discriminants : SWE-bench Pro, Humanity’s Last Exam, ARC-AGI.
2. Qui a mesuré ? Un score publié par l’éditeur sur son propre modèle reflète ses choix de tests, de réglages et de concurrents. Les mesures indépendantes (Artificial Analysis, Epoch AI, les classements officiels des créateurs de tests) appliquent la même méthode à tous.
3. Dans quelles conditions ? Cherchez les mentions en petit : « max effort » (effort maximal), « with tools » (avec outils), « pass@1 » (première réponse seulement) ou une mention d’essais multiples. Deux chiffres obtenus dans des conditions différentes ne se comparent pas.
4. Les questions sont-elles publiques ? Plus un test est ancien et public, plus le risque qu’il ait été appris est élevé. Les jeux privés ou renouvelés résistent mieux.
5. Est-ce votre usage ? C’est la question qui compte. Un record en physique théorique ne dit rien de la qualité d’un compte rendu de réunion en français ou d’une réponse à un appel d’offres. Même un benchmark de code ne dit pas comment l’outil se comportera sur votre base de code à vous.

Ce que les benchmarks ne remplacent pas : votre propre test

Pour votre entreprise, la seule évaluation décisive se fait sur vos tâches. La méthode tient en quelques étapes, et une demi-journée suffit souvent.

Choisissez cinq à dix tâches représentatives de votre travail réel : un courriel délicat, une synthèse de document, un tableau à analyser, une réponse à un client. Préparez pour chacune une consigne identique et, si possible, une réponse de référence rédigée par quelqu’un du métier. Faites passer la même consigne aux deux ou trois modèles que vous envisagez. Notez les réponses à l’aveugle (nom du modèle masqué), sur une grille simple : exactitude, respect de la consigne, ton, temps de relecture nécessaire. Notre article sur l’évaluation d’un prompt par scoring et test A/B détaille cette grille.

Prêtez une attention particulière aux erreurs. Un modèle brillant sur les benchmarks peut inventer une référence juridique ou un chiffre. Notre guide sur les hallucinations de l’IA explique comment les repérer. Pour les documents volumineux, la capacité réelle à exploiter un long texte compte plus que la taille annoncée de la fenêtre de contexte (la quantité de texte que le modèle peut lire d’un coup) : nous y consacrerons un article de méthode, analyser un document long avec l’IA.

Ce test maison a un autre mérite : il forme vos équipes. Les personnes qui l’ont mené savent ensuite où l’outil est fiable et où il faut relire. C’est l’esprit de notre parcours pour apprendre à vos équipes à juger un modèle sur leurs propres dossiers, finançable par les OPCO et dispensé par un organisme certifié Qualiopi.

Si vous hésitez entre deux assistants précis, nos duels appliquent cette logique cas par cas : Claude contre ChatGPT et Mistral contre ChatGPT. Et avant tout déploiement, notre grille d’audit en 12 points couvre ce qu’aucun benchmark ne mesure : données, contrat, sécurité.

La vidéo ci-dessous montre comment lire le classement d’Arena, en français.

Vidéo de la chaîne Dr. Meta (Charles Perez), « Le VRAI Classement des IA (GPT, Claude, Gemini, Mistral…) avec LMArena ! », publiée le 27 octobre 2025.

FAQ

Un score est une piste, pas une preuve

Les benchmarks ont rendu un vrai service : ils ont permis de mesurer des progrès qui, sans eux, seraient restés des slogans. Mais chaque test suit la même trajectoire. Il départage, il se diffuse, il est appris, il sature, et un autre le remplace. Lire un tableau d’annonce, c’est d’abord savoir à quel moment de cette vie se trouve chaque ligne. Pour une entreprise, la conclusion est simple : regardez les tests encore discriminants, préférez les mesures indépendantes, puis faites votre propre essai sur vos dossiers. C’est là que se joue la décision ; vos équipes y apprennent aussi à utiliser l’outil. Notre parcours permet de vous former à l’IA générative sans vous fier aux seuls classements.