モデル性能
コーディング性能の評価結果を比較します。ベンチマークごとに課題や採点方法が異なるため、数値を直接比較することはできません。
ProgramBench
実行ファイルと説明文をもとにソースコードを一から再実装する評価。公式ランキングの30件を掲載しています。
エージェントはmini-SWE-agent。完全解決率は課題の全テストに合格した割合、ほぼ解決率はテストの95%以上に合格した課題の割合です。モデル名の括弧内は評価時の設定です。
公式ランキング更新日: / 確認日: / ProgramBench公式リーダーボード
| 順位 | モデル・設定 | 完全解決率 | ほぼ解決率 | 1問あたりコスト |
|---|---|---|---|---|
| 1 | Claude Opus 5.5 (xhigh) | 18.5% | 70.5% | $36.36 |
| 2 | Claude Fable 5.1 (xhigh) | 9.0% | 55.5% | $56.84 |
| 3 | Muse Wonder Full | 8.5% | 60.0% | 未公表 |
| 4 | Muse Wonder (xhigh) | 5.5% | 50.5% | $36.53 |
| 5 | GPT 6 Astra (max) | 5.0% | 52.5% | $11.47 |
| 6 | Claude Opus 5 (xhigh) | 4.5% | 37.0% | $50.53 |
| 7 | Muse Spark 1.3 (max) | 2.5% | 25.0% | $6.46 |
| 8 | Muse Spark 1.3 (xhigh) | 1.0% | 16.5% | $2.02 |
| 9 | GPT-5.6 Sol (xhigh) | 1.0% | 15.5% | $6.08 |
| 10 | GPT 5.5 (xhigh) | 0.5% | 13.5% | $8.85 |
| 11 | GPT 5.5 (high) | 0.5% | 5.0% | $3.65 |
| 12 | Gemini 3.6 Flash | 0.5% | 4.0% | $4.83 |
| 13 | GPT-5.6 Sol | 0.5% | 2.5% | $1.00 |
| 14 | Claude Opus 4.8 (xhigh) | 0.0% | 16.5% | $21.02 |
| 15 | GLM-5.2 | 0.0% | 8.5% | $25.36 |
| 16 | Gemini 3.7 Flash | 0.0% | 5.5% | $2.04 |
| 17 | Muse Spark 1.2 (xhigh) | 0.0% | 4.5% | $1.48 |
| 18 | Claude Opus 4.7 (xhigh) | 0.0% | 4.5% | $10.96 |
| 19 | Muse Spark 1.1 (xhigh) | 0.0% | 4.0% | $0.73 |
| 20 | Gemini 3.5 Flash | 0.0% | 3.0% | $5.60 |
| 21 | Claude Opus 4.7 | 0.0% | 3.0% | $3.81 |
| 22 | Claude Opus 4.6 | 0.0% | 2.5% | $11.38 |
| 23 | GPT 5.5 | 0.0% | 1.5% | $1.21 |
| 24 | Claude Sonnet 4.6 | 0.0% | 1.0% | $26.73 |
| 25 | GPT 5.4 | 0.0% | 0.0% | $0.33 |
| 26 | Gemini 3.1 Pro | 0.0% | 0.0% | $1.51 |
| 27 | Gemini 3 Flash | 0.0% | 0.0% | $0.30 |
| 28 | Claude Haiku 4.5 | 0.0% | 0.0% | $0.80 |
| 29 | GPT 5.4 mini | 0.0% | 0.0% | $0.04 |
| 30 | GPT 5 mini | 0.0% | 0.0% | $0.03 |
テストの網羅性には限界があります。コストは評価時のAPI費用で、現在の利用料金ではありません。各結果の評価日・ハーネス版はこの表では未確認です。実サービスの性能や利用可能性を保証しません。
Aider Polyglot
公式リーダーボードの全69件から、2回目試行後の正解率が高い順に20件
C++・Go・Java・JavaScript・Python・Rustの課題をAiderで解く評価です。正解率は最大2回の試行後の値。評価日、Aiderの版、編集形式、対象問題数が異なるため単純比較には注意してください。
- 指標
- 正解率(% correct、2回目試行後)
- 公式の最新評価日
- 確認日
公式リーダーボードの全69件から、2回目試行後の正解率が高い順に20件
| 順位 | モデル・設定 | 正解率 | 評価全体のコスト | 評価日 | Aider版 | 編集形式 | 対象問題数 |
|---|---|---|---|---|---|---|---|
| 1 | gpt-5 (high) | 88.0% | $29.08 | 0.86.2.dev | diff | 225 | |
| 2 | gpt-5 (medium) | 86.7% | $17.69 | 0.86.2.dev | diff | 225 | |
| 3 | o3-pro (high) | 84.9% | $146.32 | 0.85.1.dev | diff | 225 | |
| 4 | gemini-2.5-pro-preview-06-05 (32k think) | 83.1% | $49.88 | 0.84.1.dev | diff-fenced | 225 | |
| 5 | gpt-5 (low) | 81.3% | $10.37 | 0.86.2.dev | diff | 225 | |
| 6 | o3 (high) | 81.3% | $21.23 | 0.84.1.dev | diff | 225 | |
| 7 | grok-4 (high) | 79.6% | $59.62 | 0.85.2.dev | diff | 225 | |
| 8 | gemini-2.5-pro-preview-06-05 (default think) | 79.1% | $45.60 | 0.84.1.dev | diff-fenced | 225 | |
| 9 | o3 (high) + gpt-4.1 | 78.2% | $17.55 | 0.85.1.dev | architect | 224 | |
| 10 | o3 | 76.9% | $13.75 | 0.84.1.dev | diff | 225 | |
| 11 | Gemini 2.5 Pro Preview 05-06 | 76.9% | $37.41 | 0.82.4.dev | diff-fenced | 225 | |
| 12 | DeepSeek-V3.2-Exp (Reasoner) | 74.2% | $1.30 | 0.86.2.dev | diff | 225 | |
| 13 | Gemini 2.5 Pro Preview 03-25 | 72.9% | 未公表 | 0.81.3.dev | diff-fenced | 225 | |
| 14 | claude-opus-4-20250514 (32k thinking) | 72.0% | $65.75 | 0.83.3.dev | diff | 225 | |
| 15 | o4-mini (high) | 72.0% | $19.64 | 0.82.1.dev | diff | 225 | |
| 16 | DeepSeek R1 (0528) | 71.4% | $4.80 | 0.84.1.dev | diff | 224 | |
| 17 | claude-opus-4-20250514 (no think) | 70.7% | $68.63 | 0.83.3.dev | diff | 225 | |
| 18 | DeepSeek-V3.2-Exp (Chat) | 70.2% | $0.88 | 0.86.2.dev | diff | 225 | |
| 19 | claude-3-7-sonnet-20250219 (32k thinking tokens) | 64.9% | $36.83 | 0.75.1.dev | diff | 225 | |
| 20 | DeepSeek R1 + claude-3-5-sonnet-20241022 | 64.0% | $13.29 | 0.72.3.dev | architect | 225 |
掲載は正解率上位の抜粋であり、公式リーダーボードの全結果ではありません。コストは225問(または224問)の評価全体にかかった実行時点のAPI費用で、月額料金や現在の価格ではありません。0として公開されている結果は金額不明のため「未公表」としています。他のベンチマークの数値と直接比較できません。
SWE-bench Verified(Bash Only)
実在するGitHub Issueを解決できる割合。全モデルをmini-SWE-agentの最小Bash環境で比較した、SWE-benchチーム確認済みの結果のみを掲載。
掲載結果の評価日は2025年であり、新しいモデルを網羅していません。取得日は評価日ではありません。
- 指標
- 解決率(% Resolved)
- 評価ハーネス
- mini-SWE-agent(全結果で共通)
- 取得日
| 順位 | モデル | 解決率 | 1問あたりコスト | 評価日 | ハーネス版 |
|---|---|---|---|---|---|
| 1 | Claude 4.5 OpusAnthropic | 74.4% | $0.721 | 1.16.0 | |
| 2 | Gemini 3 Pro PreviewGoogle DeepMind | 74.2% | $0.460 | 1.15.0 | |
| 3 | Claude 4.5 SonnetAnthropic | 70.6% | $0.558 | 1.13.3 | |
| 4 | Claude 4 OpusAnthropic | 67.6% | $1.131 | 1.0.0 | |
| 5 | GPT 5OpenAI | 65.0% | $0.280 | 1.7.0 | |
| 6 | Claude 4 SonnetAnthropic | 64.9% | $0.371 | 1.0.0 | |
| 7 | Kimi K2 ThinkingMoonshot AI | 63.4% | $0.438 | 1.17.2 | |
| 8 | MiniMax M2Minimax | 61.0% | $0.428 | 1.17.0 | |
| 9 | DeepSeek V3.2 Reasonerdeepseek | 60.0% | $0.028 | 1.17.1 | |
| 10 | GPT 5 miniOpenAI | 59.8% | $0.035 | 1.7.0 | |
| 11 | o3OpenAI | 58.4% | $0.334 | 1.0.0 | |
| 12 | Devstral Small (2512)mistral | 56.4% | 未算定 | 1.17.2 | |
| 13 | GLM 4.6Z.ai | 55.4% | $0.097 | 1.17.1 | |
| 14 | Qwen3-Coder 480B/A35B InstructQwen | 55.4% | $0.248 | 1.0.0 | |
| 15 | GLM 4.5Z.ai | 54.2% | $0.297 | 1.9.1 | |
| 16 | Devstral (2512)mistral | 53.8% | 未算定 | 1.17.2 | |
| 17 | Gemini 2.5 ProGoogle DeepMind | 53.6% | $0.288 | 1.0.0 | |
| 18 | Claude 3.7 SonnetAnthropic | 52.8% | $0.355 | 0.0.0 | |
| 19 | o4-miniOpenAI | 45.0% | $0.210 | 1.0.0 | |
| 20 | Kimi K2 InstructMoonshot AI | 43.8% | $0.532 | 1.7.0 | |
| 21 | GPT 4.1OpenAI | 39.6% | $0.146 | 1.0.0 | |
| 22 | GPT 5 nanoOpenAI | 34.8% | $0.038 | 1.7.0 | |
| 23 | Gemini 2.5 FlashGoogle DeepMind | 28.7% | $0.134 | 1.0.0 | |
| 24 | gpt-oss-120bOpenAI | 26.0% | $0.057 | 1.7.0 | |
| 25 | GPT 4.1 miniOpenAI | 23.9% | $0.435 | 0.0.0 | |
| 26 | GPT 4oOpenAI | 21.6% | $1.531 | 0.0.0 | |
| 27 | Llama 4 Maverick InstructMeta | 21.0% | $0.314 | 0.0.0 | |
| 28 | Gemini 2.0 FlashGoogle DeepMind | 13.5% | 未算定 | 0.0.0 | |
| 29 | Llama 4 Scout InstructMeta | 9.1% | $0.116 | 0.0.0 | |
| 30 | Qwen2.5-Coder 32B InstructQwen | 9.0% | $0.068 | 1.0.0 |
エージェント構成が異なる結果やチーム未確認の自己申告値は除外。スコアは評価条件に依存し、製品での実利用性能を保証しません。1インスタンスあたりのコストは評価時点のAPI料金に基づく概算で、現在の価格ではありません。0は無料または未算定のため非表示。
料金データとの対応
ベンチマークのモデル名と料金データのモデルが完全一致した場合のみ関連付けています。系列名だけの料金プランを、特定バージョンの性能と結び付けません。
- GPT-5 miniGitHub Copilotこのモデルが使えるプランを探す
この数値を読むときの注意
- SWE-benchはPythonリポジトリのIssue解決を測る指標です。UI生成や文章作成、長期的な保守性は評価しません。
- 解決率はハーネス・プロンプト・推論設定・評価日で変わります。本ページはmini-SWE-agentの同一設定に限定しています。
- ProgramBenchは実行ファイルと説明文からの再実装、Aider Polyglotは6言語の編集課題を測ります。指標も採点方法も異なるため、3つの表の数値を横並びで比較しないでください。
- 1問あたりコストや評価全体のコストは評価時点のAPI料金による概算で、現在の料金やプラン価格ではありません。
- コーディングエージェント製品の性能は、モデル単体の結果に加え、製品側のツールやコンテキスト管理にも依存します。
- モデルの版が変われば性能も変わります。購入判断では公式の最新情報も確認してください。
データの再生成
npm run bench:sync / npm run bench:sync:aider
下記の公開データから、次のコマンドで再生成できます。ProgramBenchは公式ランキングを手動で採録しています。