SWE-Bench
18 modeli w rankingu
SWE-Bench to benchmark agentowego kodowania: model dostaje prawdziwy problem z GitHub z otwartego repozytorium i ma przygotować poprawkę, która przejdzie testy projektu. Ponad 2000 zadań sprawdza, czy AI potrafi poruszać się po nieznanym kodzie, rozumieć zgłoszenia błędów i wdrażać poprawki, które faktycznie trafiają do repozytorium. To najbliższy publiczny odpowiednik zatrudnionego inżyniera oprogramowania.
Wyniki ze źródła: BenchLM
| # | Model | ||
|---|---|---|---|
| 1 | GPT-5 | OpenAI | 93 |
| 2 | Claude 4 Opus | Anthropic | 92 |
| 3 | Gemini 2.5 Pro | 91 | |
| 4 | Cursor Tab | Anysphere | 90 |
| 5 | Llama 4 405B | Meta | 89 |
| 6 | Claude Code | Anthropic | 89 |
| 7 | Grok 3 | xAI | 88 |
| 8 | Qwen3 235B | Alibaba | 87 |
| 9 | DeepSeek V3 | DeepSeek | 86 |
| 10 | GitHub Copilot | GitHub | 86 |
| 11 | Mistral Large 3 | Mistral | 85 |
| 12 | Claude 4 Sonnet | Anthropic | 84 |
| 13 | Aider | Aider | 83 |
| 14 | Command R+ | Cohere | 82 |
| 15 | Codeium Windsurf | Codeium | 82 |
| 16 | Gemini 2.5 Flash | 81 | |
| 17 | GPT-4o mini | OpenAI | 79 |
| 18 | Continue Dev | Continue | 78 |
AIRank agreguje te wyniki z publicznych źródeł wymienionych na każdej stronie. Nie prowadzimy własnych ewaluacji, a surowe wyniki normalizujemy do skali 0–100, aby tabele były porównywalne.
FAQ
Często zadawane pytania
Czym jest SWE-Bench?
SWE-Bench to benchmark agentowego kodowania: model dostaje prawdziwy problem z GitHub z otwartego repozytorium i ma przygotować poprawkę, która przejdzie testy projektu. Ponad 2000 zadań sprawdza, czy AI potrafi poruszać się po nieznanym kodzie, rozumieć zgłoszenia błędów i wdrażać poprawki, które faktycznie trafiają do repozytorium. To najbliższy publiczny odpowiednik zatrudnionego inżyniera oprogramowania. Wyniki SWE-Bench pokazane tutaj pochodzą z publicznych wyników opublikowanych przez zespół benchmarku i są agregowane przez źródła takie jak BenchLM.
Jak liczone są wyniki benchmarków?
Każdy benchmark podaje wyniki w swojej własnej skali — procenty, pass@1 lub punkty Elo. Normalizujemy każdy benchmark do wspólnej skali 0–100 za pomocą skalowania min-max na śledzonych modelach, dzięki czemu tabele są porównywalne między benchmarkami. Podstawowe liczby zawsze pochodzą z publicznych wyników opublikowanych przez twórców benchmarków, nigdy z własnych lub zamkniętych ewaluacji.
Dlaczego te same modele zajmują różne miejsca w różnych benchmarkach?
Benchmarki mierzą różne umiejętności. GPQA sprawdza wiedzę naukową na poziomie studiów, HumanEval i SWE-Bench mierzą zdolności programistyczne, a MATH obejmuje rozwiązywanie problemów krok po kroku. Model może być znakomity w kodzie, a przeciętny w naukach ścisłych — dlatego utrzymujemy osobny ranking dla każdego benchmarku, zamiast łączyć wszystko w jeden wynik.