HumanEval
18 modelos clasificados
HumanEval es el benchmark de generación de código de OpenAI: 164 problemas de programación escritos a mano que comprueban si un modelo puede producir una función correcta en Python a partir de un docstring. Las puntuaciones se dan como pass@1, la proporción de problemas resueltos al primer intento. Es uno de los benchmarks de código más antiguos y citados, aunque la programación real lo haya superado.
Puntuaciones de BenchLM
| # | Modelo | ||
|---|---|---|---|
| 1 | GPT-5 | OpenAI | 100 |
| 2 | Claude 4 Opus | Anthropic | 100 |
| 3 | Gemini 2.5 Pro | 100 | |
| 4 | Cursor Tab | Anysphere | 100 |
| 5 | Llama 4 405B | Meta | 99 |
| 6 | Claude Code | Anthropic | 99 |
| 7 | Grok 3 | xAI | 98 |
| 8 | Qwen3 235B | Alibaba | 97 |
| 9 | DeepSeek V3 | DeepSeek | 96 |
| 10 | GitHub Copilot | GitHub | 96 |
| 11 | Mistral Large 3 | Mistral | 95 |
| 12 | Claude 4 Sonnet | Anthropic | 94 |
| 13 | Aider | Aider | 93 |
| 14 | Command R+ | Cohere | 92 |
| 15 | Codeium Windsurf | Codeium | 92 |
| 16 | Gemini 2.5 Flash | 91 | |
| 17 | GPT-4o mini | OpenAI | 89 |
| 18 | Continue Dev | Continue | 88 |
AIRank agrega estos resultados de las fuentes públicas indicadas en cada página. No realizamos evaluaciones propias y normalizamos los resultados brutos a una escala de 0 a 100 para que las tablas sean comparables.
FAQ
Preguntas frecuentes
¿Qué es HumanEval?
HumanEval es el benchmark de generación de código de OpenAI: 164 problemas de programación escritos a mano que comprueban si un modelo puede producir una función correcta en Python a partir de un docstring. Las puntuaciones se dan como pass@1, la proporción de problemas resueltos al primer intento. Es uno de los benchmarks de código más antiguos y citados, aunque la programación real lo haya superado. Los resultados de HumanEval mostrados aquí provienen de las puntuaciones públicas publicadas por el propio equipo del benchmark y se agregan a través de fuentes como BenchLM.
¿Cómo se calculan las puntuaciones de los benchmarks?
Cada benchmark informa de sus resultados en su propia escala nativa: porcentajes, tasas pass@1 o puntos Elo. Normalizamos cada benchmark a una escala común de 0 a 100 mediante escalado min-max sobre los modelos que seguimos, para que las tablas sean comparables entre benchmarks. Los números subyacentes provienen siempre de los resultados públicos publicados por los responsables del benchmark, nunca de evaluaciones propias o privadas.
¿Por qué los mismos modelos ocupan puestos distintos en distintos benchmarks?
Los benchmarks miden habilidades distintas. GPQA evalúa conocimientos científicos de posgrado, HumanEval y SWE-Bench miden la capacidad de programar y MATH cubre la resolución de problemas paso a paso. Un modelo puede ser excelente en código y mediocre en ciencias — por eso mantenemos una clasificación separada para cada benchmark en lugar de fusionarlo todo en una sola puntuación.