SWE-Bench
18 modelos clasificados
SWE-Bench es el benchmark de código agéntico: le da al modelo un issue real de GitHub de un repositorio de código abierto y le pide un parche que supere los tests del proyecto. Con más de 2 000 tareas, mide si una IA puede navegar por bases de código desconocidas, entender informes de errores y enviar correcciones que realmente se fusionan. Es el proxy público más cercano a un ingeniero de software contratado.
Puntuaciones de BenchLM
| # | Modelo | ||
|---|---|---|---|
| 1 | GPT-5 | OpenAI | 93 |
| 2 | Claude 4 Opus | Anthropic | 92 |
| 3 | Gemini 2.5 Pro | 91 | |
| 4 | Cursor Tab | Anysphere | 90 |
| 5 | Llama 4 405B | Meta | 89 |
| 6 | Claude Code | Anthropic | 89 |
| 7 | Grok 3 | xAI | 88 |
| 8 | Qwen3 235B | Alibaba | 87 |
| 9 | DeepSeek V3 | DeepSeek | 86 |
| 10 | GitHub Copilot | GitHub | 86 |
| 11 | Mistral Large 3 | Mistral | 85 |
| 12 | Claude 4 Sonnet | Anthropic | 84 |
| 13 | Aider | Aider | 83 |
| 14 | Command R+ | Cohere | 82 |
| 15 | Codeium Windsurf | Codeium | 82 |
| 16 | Gemini 2.5 Flash | 81 | |
| 17 | GPT-4o mini | OpenAI | 79 |
| 18 | Continue Dev | Continue | 78 |
AIRank agrega estos resultados de las fuentes públicas indicadas en cada página. No realizamos evaluaciones propias y normalizamos los resultados brutos a una escala de 0 a 100 para que las tablas sean comparables.
FAQ
Preguntas frecuentes
¿Qué es SWE-Bench?
SWE-Bench es el benchmark de código agéntico: le da al modelo un issue real de GitHub de un repositorio de código abierto y le pide un parche que supere los tests del proyecto. Con más de 2 000 tareas, mide si una IA puede navegar por bases de código desconocidas, entender informes de errores y enviar correcciones que realmente se fusionan. Es el proxy público más cercano a un ingeniero de software contratado. Los resultados de SWE-Bench mostrados aquí provienen de las puntuaciones públicas publicadas por el propio equipo del benchmark y se agregan a través de fuentes como BenchLM.
¿Cómo se calculan las puntuaciones de los benchmarks?
Cada benchmark informa de sus resultados en su propia escala nativa: porcentajes, tasas pass@1 o puntos Elo. Normalizamos cada benchmark a una escala común de 0 a 100 mediante escalado min-max sobre los modelos que seguimos, para que las tablas sean comparables entre benchmarks. Los números subyacentes provienen siempre de los resultados públicos publicados por los responsables del benchmark, nunca de evaluaciones propias o privadas.
¿Por qué los mismos modelos ocupan puestos distintos en distintos benchmarks?
Los benchmarks miden habilidades distintas. GPQA evalúa conocimientos científicos de posgrado, HumanEval y SWE-Bench miden la capacidad de programar y MATH cubre la resolución de problemas paso a paso. Un modelo puede ser excelente en código y mediocre en ciencias — por eso mantenemos una clasificación separada para cada benchmark en lugar de fusionarlo todo en una sola puntuación.