モデル性能

コーディング性能の評価結果を比較します。ベンチマークごとに課題や採点方法が異なるため、数値を直接比較することはできません。

ProgramBench

実行ファイルと説明文をもとにソースコードを一から再実装する評価。公式ランキングの30件を掲載しています。

200問

エージェントはmini-SWE-agent。完全解決率は課題の全テストに合格した割合、ほぼ解決率はテストの95%以上に合格した課題の割合です。モデル名の括弧内は評価時の設定です。

公式ランキング更新日: / 確認日: / ProgramBench公式リーダーボード

ProgramBench公式ランキング30件。完全解決率とほぼ解決率を併記。
順位モデル・設定完全解決率ほぼ解決率1問あたりコスト
1Claude Opus 5.5 (xhigh)18.5%70.5%$36.36
2Claude Fable 5.1 (xhigh)9.0%55.5%$56.84
3Muse Wonder Full8.5%60.0%未公表
4Muse Wonder (xhigh)5.5%50.5%$36.53
5GPT 6 Astra (max)5.0%52.5%$11.47
6Claude Opus 5 (xhigh)4.5%37.0%$50.53
7Muse Spark 1.3 (max)2.5%25.0%$6.46
8Muse Spark 1.3 (xhigh)1.0%16.5%$2.02
9GPT-5.6 Sol (xhigh)1.0%15.5%$6.08
10GPT 5.5 (xhigh)0.5%13.5%$8.85
11GPT 5.5 (high)0.5%5.0%$3.65
12Gemini 3.6 Flash0.5%4.0%$4.83
13GPT-5.6 Sol0.5%2.5%$1.00
14Claude Opus 4.8 (xhigh)0.0%16.5%$21.02
15GLM-5.20.0%8.5%$25.36
16Gemini 3.7 Flash0.0%5.5%$2.04
17Muse Spark 1.2 (xhigh)0.0%4.5%$1.48
18Claude Opus 4.7 (xhigh)0.0%4.5%$10.96
19Muse Spark 1.1 (xhigh)0.0%4.0%$0.73
20Gemini 3.5 Flash0.0%3.0%$5.60
21Claude Opus 4.70.0%3.0%$3.81
22Claude Opus 4.60.0%2.5%$11.38
23GPT 5.50.0%1.5%$1.21
24Claude Sonnet 4.60.0%1.0%$26.73
25GPT 5.40.0%0.0%$0.33
26Gemini 3.1 Pro0.0%0.0%$1.51
27Gemini 3 Flash0.0%0.0%$0.30
28Claude Haiku 4.50.0%0.0%$0.80
29GPT 5.4 mini0.0%0.0%$0.04
30GPT 5 mini0.0%0.0%$0.03

テストの網羅性には限界があります。コストは評価時のAPI費用で、現在の利用料金ではありません。各結果の評価日・ハーネス版はこの表では未確認です。実サービスの性能や利用可能性を保証しません。

Aider Polyglot

公式リーダーボードの全69件から、2回目試行後の正解率が高い順に20件

最大225問

C++・Go・Java・JavaScript・Python・Rustの課題をAiderで解く評価です。正解率は最大2回の試行後の値。評価日、Aiderの版、編集形式、対象問題数が異なるため単純比較には注意してください。

指標
正解率(% correct、2回目試行後)
公式の最新評価日
確認日
出典
Aider公式リーダーボード

公式リーダーボードの全69件から、2回目試行後の正解率が高い順に20件

Aider Polyglotの正解率。上から高い順。
順位モデル・設定正解率評価全体のコスト評価日Aider版編集形式対象問題数
1gpt-5 (high)88.0%$29.080.86.2.devdiff225
2gpt-5 (medium)86.7%$17.690.86.2.devdiff225
3o3-pro (high)84.9%$146.320.85.1.devdiff225
4gemini-2.5-pro-preview-06-05 (32k think)83.1%$49.880.84.1.devdiff-fenced225
5gpt-5 (low)81.3%$10.370.86.2.devdiff225
6o3 (high)81.3%$21.230.84.1.devdiff225
7grok-4 (high)79.6%$59.620.85.2.devdiff225
8gemini-2.5-pro-preview-06-05 (default think)79.1%$45.600.84.1.devdiff-fenced225
9o3 (high) + gpt-4.178.2%$17.550.85.1.devarchitect224
10o376.9%$13.750.84.1.devdiff225
11Gemini 2.5 Pro Preview 05-0676.9%$37.410.82.4.devdiff-fenced225
12DeepSeek-V3.2-Exp (Reasoner)74.2%$1.300.86.2.devdiff225
13Gemini 2.5 Pro Preview 03-2572.9%未公表0.81.3.devdiff-fenced225
14claude-opus-4-20250514 (32k thinking)72.0%$65.750.83.3.devdiff225
15o4-mini (high)72.0%$19.640.82.1.devdiff225
16DeepSeek R1 (0528)71.4%$4.800.84.1.devdiff224
17claude-opus-4-20250514 (no think)70.7%$68.630.83.3.devdiff225
18DeepSeek-V3.2-Exp (Chat)70.2%$0.880.86.2.devdiff225
19claude-3-7-sonnet-20250219 (32k thinking tokens)64.9%$36.830.75.1.devdiff225
20DeepSeek R1 + claude-3-5-sonnet-2024102264.0%$13.290.72.3.devarchitect225

掲載は正解率上位の抜粋であり、公式リーダーボードの全結果ではありません。コストは225問(または224問)の評価全体にかかった実行時点のAPI費用で、月額料金や現在の価格ではありません。0として公開されている結果は金額不明のため「未公表」としています。他のベンチマークの数値と直接比較できません。

SWE-bench Verified(Bash Only)

実在するGitHub Issueを解決できる割合。全モデルをmini-SWE-agentの最小Bash環境で比較した、SWE-benchチーム確認済みの結果のみを掲載。

掲載結果の評価日は2025年であり、新しいモデルを網羅していません。取得日は評価日ではありません。

500問
指標
解決率(% Resolved)
評価ハーネス
mini-SWE-agent(全結果で共通)
取得日
出典
SWE-bench公式リーダーボード
SWE-bench Verified Bash Onlyの解決率。上から高い順。
順位モデル解決率1問あたりコスト評価日ハーネス版
1Claude 4.5 OpusAnthropic74.4%$0.7211.16.0
2Gemini 3 Pro PreviewGoogle DeepMind74.2%$0.4601.15.0
3Claude 4.5 SonnetAnthropic70.6%$0.5581.13.3
4Claude 4 OpusAnthropic67.6%$1.1311.0.0
5GPT 5OpenAI65.0%$0.2801.7.0
6Claude 4 SonnetAnthropic64.9%$0.3711.0.0
7Kimi K2 ThinkingMoonshot AI63.4%$0.4381.17.2
8MiniMax M2Minimax61.0%$0.4281.17.0
9DeepSeek V3.2 Reasonerdeepseek60.0%$0.0281.17.1
10GPT 5 miniOpenAI59.8%$0.0351.7.0
11o3OpenAI58.4%$0.3341.0.0
12Devstral Small (2512)mistral56.4%未算定1.17.2
13GLM 4.6Z.ai55.4%$0.0971.17.1
14Qwen3-Coder 480B/A35B InstructQwen55.4%$0.2481.0.0
15GLM 4.5Z.ai54.2%$0.2971.9.1
16Devstral (2512)mistral53.8%未算定1.17.2
17Gemini 2.5 ProGoogle DeepMind53.6%$0.2881.0.0
18Claude 3.7 SonnetAnthropic52.8%$0.3550.0.0
19o4-miniOpenAI45.0%$0.2101.0.0
20Kimi K2 InstructMoonshot AI43.8%$0.5321.7.0
21GPT 4.1OpenAI39.6%$0.1461.0.0
22GPT 5 nanoOpenAI34.8%$0.0381.7.0
23Gemini 2.5 FlashGoogle DeepMind28.7%$0.1341.0.0
24gpt-oss-120bOpenAI26.0%$0.0571.7.0
25GPT 4.1 miniOpenAI23.9%$0.4350.0.0
26GPT 4oOpenAI21.6%$1.5310.0.0
27Llama 4 Maverick InstructMeta21.0%$0.3140.0.0
28Gemini 2.0 FlashGoogle DeepMind13.5%未算定0.0.0
29Llama 4 Scout InstructMeta9.1%$0.1160.0.0
30Qwen2.5-Coder 32B InstructQwen9.0%$0.0681.0.0

エージェント構成が異なる結果やチーム未確認の自己申告値は除外。スコアは評価条件に依存し、製品での実利用性能を保証しません。1インスタンスあたりのコストは評価時点のAPI料金に基づく概算で、現在の価格ではありません。0は無料または未算定のため非表示。

料金データとの対応

ベンチマークのモデル名と料金データのモデルが完全一致した場合のみ関連付けています。系列名だけの料金プランを、特定バージョンの性能と結び付けません。

この数値を読むときの注意

  • SWE-benchはPythonリポジトリのIssue解決を測る指標です。UI生成や文章作成、長期的な保守性は評価しません。
  • 解決率はハーネス・プロンプト・推論設定・評価日で変わります。本ページはmini-SWE-agentの同一設定に限定しています。
  • ProgramBenchは実行ファイルと説明文からの再実装、Aider Polyglotは6言語の編集課題を測ります。指標も採点方法も異なるため、3つの表の数値を横並びで比較しないでください。
  • 1問あたりコストや評価全体のコストは評価時点のAPI料金による概算で、現在の料金やプラン価格ではありません。
  • コーディングエージェント製品の性能は、モデル単体の結果に加え、製品側のツールやコンテキスト管理にも依存します。
  • モデルの版が変われば性能も変わります。購入判断では公式の最新情報も確認してください。

データの再生成

npm run bench:sync / npm run bench:sync:aider

下記の公開データから、次のコマンドで再生成できます。ProgramBenchは公式ランキングを手動で採録しています。