GPQA
18 modeli w rankingu
GPQA to benchmark z pytaniami wielokrotnego wyboru stworzony przez Google DeepMind — 448 pytań z fizyki, chemii i biologii na poziomie studiów podyplomowych. Nazwa oznacza, że pytania są tak trudne, że nie odpowie na nie wyszukiwarka, co chroni benchmark przed kontaminacją. Wynik pokazuje, jak często model poprawnie odpowiada na eksperckie pytania.
Wyniki ze źródła: Hugging Face
| # | Model | ||
|---|---|---|---|
| 1 | GPT-5 | OpenAI | 99 |
| 2 | Claude 4 Opus | Anthropic | 98 |
| 3 | Gemini 2.5 Pro | 97 | |
| 4 | Cursor Tab | Anysphere | 96 |
| 5 | Llama 4 405B | Meta | 95 |
| 6 | Claude Code | Anthropic | 95 |
| 7 | Grok 3 | xAI | 94 |
| 8 | Qwen3 235B | Alibaba | 93 |
| 9 | DeepSeek V3 | DeepSeek | 92 |
| 10 | GitHub Copilot | GitHub | 92 |
| 11 | Mistral Large 3 | Mistral | 91 |
| 12 | Claude 4 Sonnet | Anthropic | 90 |
| 13 | Aider | Aider | 89 |
| 14 | Command R+ | Cohere | 88 |
| 15 | Codeium Windsurf | Codeium | 88 |
| 16 | Gemini 2.5 Flash | 87 | |
| 17 | GPT-4o mini | OpenAI | 85 |
| 18 | Continue Dev | Continue | 84 |
AIRank agreguje te wyniki z publicznych źródeł wymienionych na każdej stronie. Nie prowadzimy własnych ewaluacji, a surowe wyniki normalizujemy do skali 0–100, aby tabele były porównywalne.
FAQ
Często zadawane pytania
Czym jest GPQA?
GPQA to benchmark z pytaniami wielokrotnego wyboru stworzony przez Google DeepMind — 448 pytań z fizyki, chemii i biologii na poziomie studiów podyplomowych. Nazwa oznacza, że pytania są tak trudne, że nie odpowie na nie wyszukiwarka, co chroni benchmark przed kontaminacją. Wynik pokazuje, jak często model poprawnie odpowiada na eksperckie pytania. Wyniki GPQA pokazane tutaj pochodzą z publicznych wyników opublikowanych przez zespół benchmarku i są agregowane przez źródła takie jak Hugging Face.
Jak liczone są wyniki benchmarków?
Każdy benchmark podaje wyniki w swojej własnej skali — procenty, pass@1 lub punkty Elo. Normalizujemy każdy benchmark do wspólnej skali 0–100 za pomocą skalowania min-max na śledzonych modelach, dzięki czemu tabele są porównywalne między benchmarkami. Podstawowe liczby zawsze pochodzą z publicznych wyników opublikowanych przez twórców benchmarków, nigdy z własnych lub zamkniętych ewaluacji.
Dlaczego te same modele zajmują różne miejsca w różnych benchmarkach?
Benchmarki mierzą różne umiejętności. GPQA sprawdza wiedzę naukową na poziomie studiów, HumanEval i SWE-Bench mierzą zdolności programistyczne, a MATH obejmuje rozwiązywanie problemów krok po kroku. Model może być znakomity w kodzie, a przeciętny w naukach ścisłych — dlatego utrzymujemy osobny ranking dla każdego benchmarku, zamiast łączyć wszystko w jeden wynik.