MMLU-Pro
18 modèles classés
MMLU-Pro est le successeur plus exigeant de MMLU, le benchmark de connaissances classique. Il élargit le test original à plus de 12 000 questions dans 14 disciplines académiques et ajoute dix choix de réponse, ce qui rend le hasard bien moins efficace. Il mesure l’étendue des connaissances d’un modèle et sa fiabilité à raisonner sur des sujets allant du droit et de la médecine à la physique et à l’économie.
Scores de Hugging Face
| # | Modèle | ||
|---|---|---|---|
| 1 | GPT-5 | OpenAI | 98 |
| 2 | Claude 4 Opus | Anthropic | 97 |
| 3 | Gemini 2.5 Pro | 96 | |
| 4 | Cursor Tab | Anysphere | 95 |
| 5 | Llama 4 405B | Meta | 94 |
| 6 | Claude Code | Anthropic | 94 |
| 7 | Grok 3 | xAI | 93 |
| 8 | Qwen3 235B | Alibaba | 92 |
| 9 | DeepSeek V3 | DeepSeek | 91 |
| 10 | GitHub Copilot | GitHub | 91 |
| 11 | Mistral Large 3 | Mistral | 90 |
| 12 | Claude 4 Sonnet | Anthropic | 89 |
| 13 | Aider | Aider | 88 |
| 14 | Command R+ | Cohere | 87 |
| 15 | Codeium Windsurf | Codeium | 87 |
| 16 | Gemini 2.5 Flash | 86 | |
| 17 | GPT-4o mini | OpenAI | 84 |
| 18 | Continue Dev | Continue | 83 |
AIRank agrège ces résultats à partir des sources publiques indiquées sur chaque page. Nous ne menons pas nos propres évaluations et normalisons les résultats bruts sur une échelle de 0 à 100 pour que les tableaux soient comparables.
FAQ
Questions fréquentes
Qu’est-ce que MMLU-Pro ?
MMLU-Pro est le successeur plus exigeant de MMLU, le benchmark de connaissances classique. Il élargit le test original à plus de 12 000 questions dans 14 disciplines académiques et ajoute dix choix de réponse, ce qui rend le hasard bien moins efficace. Il mesure l’étendue des connaissances d’un modèle et sa fiabilité à raisonner sur des sujets allant du droit et de la médecine à la physique et à l’économie. Les résultats MMLU-Pro présentés ici proviennent des scores publics publiés par l’équipe du benchmark et ré-agrégés via des sources comme Hugging Face.
Comment les scores des benchmarks sont-ils calculés ?
Chaque benchmark publie ses résultats sur son échelle native — pourcentages, taux pass@1 ou points Elo. Nous normalisons chaque benchmark sur une échelle commune de 0 à 100 grâce à une mise à l’échelle min-max sur les modèles suivis, afin que les tableaux soient comparables d’un benchmark à l’autre. Les chiffres proviennent toujours des résultats publics publiés par les équipes des benchmarks, jamais d’évaluations propriétaires ou auto-réalisées.
Pourquoi les mêmes modèles sont-ils classés différemment selon les benchmarks ?
Les benchmarks mesurent des compétences différentes. GPQA teste la connaissance scientifique de niveau postuniversitaire, HumanEval et SWE-Bench mesurent la capacité de codage, et MATH couvre la résolution de problèmes pas à pas. Un modèle peut exceller en code tout en étant moyen en sciences — c’est précisément pourquoi nous conservons un classement distinct pour chaque benchmark plutôt que de tout fusionner en un seul score.