MMLU-Pro
18 bewertete Modelle
MMLU-Pro ist der schwierigere Nachfolger von MMLU, dem klassischen Wissens-Benchmark. Er erweitert den ursprünglichen Test auf über 12.000 Fragen aus 14 akademischen Disziplinen und fügt zehn Antwortoptionen hinzu, was das Raten erheblich erschwert. Er misst die Breite des Weltwissens eines Modells und seine Zuverlässigkeit beim Denken über Themen von Recht und Medizin bis zu Physik und Wirtschaft.
Ergebnisse von Hugging Face
| # | Modell | ||
|---|---|---|---|
| 1 | GPT-5 | OpenAI | 98 |
| 2 | Claude 4 Opus | Anthropic | 97 |
| 3 | Gemini 2.5 Pro | 96 | |
| 4 | Cursor Tab | Anysphere | 95 |
| 5 | Llama 4 405B | Meta | 94 |
| 6 | Claude Code | Anthropic | 94 |
| 7 | Grok 3 | xAI | 93 |
| 8 | Qwen3 235B | Alibaba | 92 |
| 9 | DeepSeek V3 | DeepSeek | 91 |
| 10 | GitHub Copilot | GitHub | 91 |
| 11 | Mistral Large 3 | Mistral | 90 |
| 12 | Claude 4 Sonnet | Anthropic | 89 |
| 13 | Aider | Aider | 88 |
| 14 | Command R+ | Cohere | 87 |
| 15 | Codeium Windsurf | Codeium | 87 |
| 16 | Gemini 2.5 Flash | 86 | |
| 17 | GPT-4o mini | OpenAI | 84 |
| 18 | Continue Dev | Continue | 83 |
AIRank bündelt diese Ergebnisse aus den auf jeder Seite genannten öffentlichen Quellen. Wir führen keine eigenen Evaluierungen durch und normalisieren die Rohwerte auf eine 0–100-Skala, damit die Tabellen vergleichbar sind.
FAQ
Häufige Fragen
Was ist MMLU-Pro?
MMLU-Pro ist der schwierigere Nachfolger von MMLU, dem klassischen Wissens-Benchmark. Er erweitert den ursprünglichen Test auf über 12.000 Fragen aus 14 akademischen Disziplinen und fügt zehn Antwortoptionen hinzu, was das Raten erheblich erschwert. Er misst die Breite des Weltwissens eines Modells und seine Zuverlässigkeit beim Denken über Themen von Recht und Medizin bis zu Physik und Wirtschaft. Die hier gezeigten MMLU-Pro-Ergebnisse stammen aus den öffentlichen Ergebnissen des Benchmark-Teams und werden über Quellen wie Hugging Face gebündelt.
Wie werden Benchmark-Ergebnisse berechnet?
Jeder Benchmark liefert seine Ergebnisse auf seiner eigenen nativen Skala — Prozente, pass@1-Raten oder Elo-Punkte. Wir normalisieren jeden Benchmark mit Min-Max-Skalierung über die beobachteten Modelle auf eine gemeinsame 0–100-Skala, damit die Tabellen über Benchmarks hinweg vergleichbar sind. Die zugrunde liegenden Zahlen stammen immer aus den öffentlichen Ergebnissen der Benchmark-Entwickler, nie aus proprietären oder selbst durchgeführten Evaluierungen.
Warum werden dieselben Modelle je nach Benchmark unterschiedlich eingestuft?
Benchmarks messen unterschiedliche Fähigkeiten. GPQA testet wissenschaftliches Wissen auf Graduiertenniveau, HumanEval und SWE-Bench messen Code-Können, und MATH deckt schrittweises Problemlösen ab. Ein Modell kann im Code hervorragend und in den Naturwissenschaften durchschnittlich sein — genau deshalb pflegen wir für jeden Benchmark ein eigenes Ranking, statt alles in einer Punktzahl zusammenzufassen.