MMLU-Pro
18 modelos clasificados
MMLU-Pro es el sucesor más difícil de MMLU, el clásico benchmark de conocimiento. Expande la prueba original a más de 12 000 preguntas en 14 disciplinas académicas y añade diez opciones de respuesta, lo que hace mucho más difícil adivinar. Mide la amplitud del conocimiento del mundo del modelo y su fiabilidad para razonar en temas que van del derecho y la medicina a la física y la economía.
Puntuaciones de Hugging Face
| # | Modelo | ||
|---|---|---|---|
| 1 | GPT-5 | OpenAI | 98 |
| 2 | Claude 4 Opus | Anthropic | 97 |
| 3 | Gemini 2.5 Pro | 96 | |
| 4 | Cursor Tab | Anysphere | 95 |
| 5 | Llama 4 405B | Meta | 94 |
| 6 | Claude Code | Anthropic | 94 |
| 7 | Grok 3 | xAI | 93 |
| 8 | Qwen3 235B | Alibaba | 92 |
| 9 | DeepSeek V3 | DeepSeek | 91 |
| 10 | GitHub Copilot | GitHub | 91 |
| 11 | Mistral Large 3 | Mistral | 90 |
| 12 | Claude 4 Sonnet | Anthropic | 89 |
| 13 | Aider | Aider | 88 |
| 14 | Command R+ | Cohere | 87 |
| 15 | Codeium Windsurf | Codeium | 87 |
| 16 | Gemini 2.5 Flash | 86 | |
| 17 | GPT-4o mini | OpenAI | 84 |
| 18 | Continue Dev | Continue | 83 |
AIRank agrega estos resultados de las fuentes públicas indicadas en cada página. No realizamos evaluaciones propias y normalizamos los resultados brutos a una escala de 0 a 100 para que las tablas sean comparables.
FAQ
Preguntas frecuentes
¿Qué es MMLU-Pro?
MMLU-Pro es el sucesor más difícil de MMLU, el clásico benchmark de conocimiento. Expande la prueba original a más de 12 000 preguntas en 14 disciplinas académicas y añade diez opciones de respuesta, lo que hace mucho más difícil adivinar. Mide la amplitud del conocimiento del mundo del modelo y su fiabilidad para razonar en temas que van del derecho y la medicina a la física y la economía. Los resultados de MMLU-Pro mostrados aquí provienen de las puntuaciones públicas publicadas por el propio equipo del benchmark y se agregan a través de fuentes como Hugging Face.
¿Cómo se calculan las puntuaciones de los benchmarks?
Cada benchmark informa de sus resultados en su propia escala nativa: porcentajes, tasas pass@1 o puntos Elo. Normalizamos cada benchmark a una escala común de 0 a 100 mediante escalado min-max sobre los modelos que seguimos, para que las tablas sean comparables entre benchmarks. Los números subyacentes provienen siempre de los resultados públicos publicados por los responsables del benchmark, nunca de evaluaciones propias o privadas.
¿Por qué los mismos modelos ocupan puestos distintos en distintos benchmarks?
Los benchmarks miden habilidades distintas. GPQA evalúa conocimientos científicos de posgrado, HumanEval y SWE-Bench miden la capacidad de programar y MATH cubre la resolución de problemas paso a paso. Un modelo puede ser excelente en código y mediocre en ciencias — por eso mantenemos una clasificación separada para cada benchmark en lugar de fusionarlo todo en una sola puntuación.