HumanEval
18 bewertete Modelle
HumanEval ist OpenAIs Benchmark für Codegenerierung: 164 handgeschriebene Programmieraufgaben, die testen, ob ein Modell aus einem Docstring eine korrekte Python-Funktion erzeugen kann. Ergebnisse werden als pass@1 angegeben — der Anteil der Aufgaben, die beim ersten Versuch gelöst werden. Es ist einer der ältesten und meistzitierten Code-Benchmarks, auch wenn die echte Programmierung ihn schnell überholt hat.
Ergebnisse von BenchLM
| # | Modell | ||
|---|---|---|---|
| 1 | GPT-5 | OpenAI | 100 |
| 2 | Claude 4 Opus | Anthropic | 100 |
| 3 | Gemini 2.5 Pro | 100 | |
| 4 | Cursor Tab | Anysphere | 100 |
| 5 | Llama 4 405B | Meta | 99 |
| 6 | Claude Code | Anthropic | 99 |
| 7 | Grok 3 | xAI | 98 |
| 8 | Qwen3 235B | Alibaba | 97 |
| 9 | DeepSeek V3 | DeepSeek | 96 |
| 10 | GitHub Copilot | GitHub | 96 |
| 11 | Mistral Large 3 | Mistral | 95 |
| 12 | Claude 4 Sonnet | Anthropic | 94 |
| 13 | Aider | Aider | 93 |
| 14 | Command R+ | Cohere | 92 |
| 15 | Codeium Windsurf | Codeium | 92 |
| 16 | Gemini 2.5 Flash | 91 | |
| 17 | GPT-4o mini | OpenAI | 89 |
| 18 | Continue Dev | Continue | 88 |
AIRank bündelt diese Ergebnisse aus den auf jeder Seite genannten öffentlichen Quellen. Wir führen keine eigenen Evaluierungen durch und normalisieren die Rohwerte auf eine 0–100-Skala, damit die Tabellen vergleichbar sind.
FAQ
Häufige Fragen
Was ist HumanEval?
HumanEval ist OpenAIs Benchmark für Codegenerierung: 164 handgeschriebene Programmieraufgaben, die testen, ob ein Modell aus einem Docstring eine korrekte Python-Funktion erzeugen kann. Ergebnisse werden als pass@1 angegeben — der Anteil der Aufgaben, die beim ersten Versuch gelöst werden. Es ist einer der ältesten und meistzitierten Code-Benchmarks, auch wenn die echte Programmierung ihn schnell überholt hat. Die hier gezeigten HumanEval-Ergebnisse stammen aus den öffentlichen Ergebnissen des Benchmark-Teams und werden über Quellen wie BenchLM gebündelt.
Wie werden Benchmark-Ergebnisse berechnet?
Jeder Benchmark liefert seine Ergebnisse auf seiner eigenen nativen Skala — Prozente, pass@1-Raten oder Elo-Punkte. Wir normalisieren jeden Benchmark mit Min-Max-Skalierung über die beobachteten Modelle auf eine gemeinsame 0–100-Skala, damit die Tabellen über Benchmarks hinweg vergleichbar sind. Die zugrunde liegenden Zahlen stammen immer aus den öffentlichen Ergebnissen der Benchmark-Entwickler, nie aus proprietären oder selbst durchgeführten Evaluierungen.
Warum werden dieselben Modelle je nach Benchmark unterschiedlich eingestuft?
Benchmarks messen unterschiedliche Fähigkeiten. GPQA testet wissenschaftliches Wissen auf Graduiertenniveau, HumanEval und SWE-Bench messen Code-Können, und MATH deckt schrittweises Problemlösen ab. Ein Modell kann im Code hervorragend und in den Naturwissenschaften durchschnittlich sein — genau deshalb pflegen wir für jeden Benchmark ein eigenes Ranking, statt alles in einer Punktzahl zusammenzufassen.