SWE-Bench
18 modèles classés
SWE-Bench est le benchmark de code agentique : il donne au modèle une issue GitHub réelle d’un dépôt open source et lui demande de produire un patch qui passe les tests du projet. Avec plus de 2 000 tâches, il mesure si une IA peut naviguer dans des bases de code inconnues, comprendre des rapports de bugs et livrer des corrections qui fusionnent réellement. C’est le proxy public le plus proche d’un ingénieur logiciel embauché.
Scores de BenchLM
| # | Modèle | ||
|---|---|---|---|
| 1 | GPT-5 | OpenAI | 93 |
| 2 | Claude 4 Opus | Anthropic | 92 |
| 3 | Gemini 2.5 Pro | 91 | |
| 4 | Cursor Tab | Anysphere | 90 |
| 5 | Llama 4 405B | Meta | 89 |
| 6 | Claude Code | Anthropic | 89 |
| 7 | Grok 3 | xAI | 88 |
| 8 | Qwen3 235B | Alibaba | 87 |
| 9 | DeepSeek V3 | DeepSeek | 86 |
| 10 | GitHub Copilot | GitHub | 86 |
| 11 | Mistral Large 3 | Mistral | 85 |
| 12 | Claude 4 Sonnet | Anthropic | 84 |
| 13 | Aider | Aider | 83 |
| 14 | Command R+ | Cohere | 82 |
| 15 | Codeium Windsurf | Codeium | 82 |
| 16 | Gemini 2.5 Flash | 81 | |
| 17 | GPT-4o mini | OpenAI | 79 |
| 18 | Continue Dev | Continue | 78 |
AIRank agrège ces résultats à partir des sources publiques indiquées sur chaque page. Nous ne menons pas nos propres évaluations et normalisons les résultats bruts sur une échelle de 0 à 100 pour que les tableaux soient comparables.
FAQ
Questions fréquentes
Qu’est-ce que SWE-Bench ?
SWE-Bench est le benchmark de code agentique : il donne au modèle une issue GitHub réelle d’un dépôt open source et lui demande de produire un patch qui passe les tests du projet. Avec plus de 2 000 tâches, il mesure si une IA peut naviguer dans des bases de code inconnues, comprendre des rapports de bugs et livrer des corrections qui fusionnent réellement. C’est le proxy public le plus proche d’un ingénieur logiciel embauché. Les résultats SWE-Bench présentés ici proviennent des scores publics publiés par l’équipe du benchmark et ré-agrégés via des sources comme BenchLM.
Comment les scores des benchmarks sont-ils calculés ?
Chaque benchmark publie ses résultats sur son échelle native — pourcentages, taux pass@1 ou points Elo. Nous normalisons chaque benchmark sur une échelle commune de 0 à 100 grâce à une mise à l’échelle min-max sur les modèles suivis, afin que les tableaux soient comparables d’un benchmark à l’autre. Les chiffres proviennent toujours des résultats publics publiés par les équipes des benchmarks, jamais d’évaluations propriétaires ou auto-réalisées.
Pourquoi les mêmes modèles sont-ils classés différemment selon les benchmarks ?
Les benchmarks mesurent des compétences différentes. GPQA teste la connaissance scientifique de niveau postuniversitaire, HumanEval et SWE-Bench mesurent la capacité de codage, et MATH couvre la résolution de problèmes pas à pas. Un modèle peut exceller en code tout en étant moyen en sciences — c’est précisément pourquoi nous conservons un classement distinct pour chaque benchmark plutôt que de tout fusionner en un seul score.