HumanEval
18 modèles classés
HumanEval est le benchmark de génération de code d’OpenAI : 164 problèmes de programmation écrits à la main qui vérifient si un modèle peut produire une fonction Python correcte à partir d’un docstring. Les scores sont rapportés en pass@1, la part de problèmes résolus au premier essai. C’est l’un des benchmarks de code les plus anciens et les plus cités, même si la programmation réelle l’a vite dépassé.
Scores de BenchLM
| # | Modèle | ||
|---|---|---|---|
| 1 | GPT-5 | OpenAI | 100 |
| 2 | Claude 4 Opus | Anthropic | 100 |
| 3 | Gemini 2.5 Pro | 100 | |
| 4 | Cursor Tab | Anysphere | 100 |
| 5 | Llama 4 405B | Meta | 99 |
| 6 | Claude Code | Anthropic | 99 |
| 7 | Grok 3 | xAI | 98 |
| 8 | Qwen3 235B | Alibaba | 97 |
| 9 | DeepSeek V3 | DeepSeek | 96 |
| 10 | GitHub Copilot | GitHub | 96 |
| 11 | Mistral Large 3 | Mistral | 95 |
| 12 | Claude 4 Sonnet | Anthropic | 94 |
| 13 | Aider | Aider | 93 |
| 14 | Command R+ | Cohere | 92 |
| 15 | Codeium Windsurf | Codeium | 92 |
| 16 | Gemini 2.5 Flash | 91 | |
| 17 | GPT-4o mini | OpenAI | 89 |
| 18 | Continue Dev | Continue | 88 |
AIRank agrège ces résultats à partir des sources publiques indiquées sur chaque page. Nous ne menons pas nos propres évaluations et normalisons les résultats bruts sur une échelle de 0 à 100 pour que les tableaux soient comparables.
FAQ
Questions fréquentes
Qu’est-ce que HumanEval ?
HumanEval est le benchmark de génération de code d’OpenAI : 164 problèmes de programmation écrits à la main qui vérifient si un modèle peut produire une fonction Python correcte à partir d’un docstring. Les scores sont rapportés en pass@1, la part de problèmes résolus au premier essai. C’est l’un des benchmarks de code les plus anciens et les plus cités, même si la programmation réelle l’a vite dépassé. Les résultats HumanEval présentés ici proviennent des scores publics publiés par l’équipe du benchmark et ré-agrégés via des sources comme BenchLM.
Comment les scores des benchmarks sont-ils calculés ?
Chaque benchmark publie ses résultats sur son échelle native — pourcentages, taux pass@1 ou points Elo. Nous normalisons chaque benchmark sur une échelle commune de 0 à 100 grâce à une mise à l’échelle min-max sur les modèles suivis, afin que les tableaux soient comparables d’un benchmark à l’autre. Les chiffres proviennent toujours des résultats publics publiés par les équipes des benchmarks, jamais d’évaluations propriétaires ou auto-réalisées.
Pourquoi les mêmes modèles sont-ils classés différemment selon les benchmarks ?
Les benchmarks mesurent des compétences différentes. GPQA teste la connaissance scientifique de niveau postuniversitaire, HumanEval et SWE-Bench mesurent la capacité de codage, et MATH couvre la résolution de problèmes pas à pas. Un modèle peut exceller en code tout en étant moyen en sciences — c’est précisément pourquoi nous conservons un classement distinct pour chaque benchmark plutôt que de tout fusionner en un seul score.