Qwen Code 評価
この評価では、同じ Qwen 3.7 Max モデルと設定を使用して、7つの Qwen Code バージョンを SWE-bench Verified で比較しています。平均スコアは 76.40% から 77.80% の範囲で、1.40 パーセントポイントの差です。
Qwen Code バージョン別のスコア
| バージョン | 平均スコア | パス率 | pass @3 | pass^3 |
|---|---|---|---|---|
| 0.0.14 | 77.80% | 84.6% | 84.6% | 69.2% |
| 0.1.0 | 76.73% | 84.6% | 84.6% | 68.0% |
| 0.5.0 | 76.60% | 83.0% | 83.0% | 68.4% |
| 0.10.0 | 76.47% | 84.4% | 84.4% | 67.4% |
| 0.15.0 | 77.67% | 84.6% | 84.6% | 68.6% |
| 0.19.0 | 76.40% | 85.0% | 85.0% | 65.8% |
| 0.22.0 | 77.33% | 84.4% | 84.4% | 68.0% |
折れ線グラフはリリース順にバージョンを接続し、70%〜80% のスケールを明示的にラベル付けしています。テーブルは報告されたすべてのメトリクスを保持しています。パス率と pass @3 はこれらの結果で同じ値になっています。
評価設定
| 設定項目 | 値 |
|---|---|
| データセット | princeton-nlp/SWE-bench_Verified、500 ケース |
| 実行回数 | 各バージョン 3 試行、各バージョン 1,500 ジョブ、7 つの Qwen Code バージョン |
| モデル | Qwen 3.7 Max |
| サンプリング | temperature=1、top_p=0.95 |
| 思考 / 推論 | interleaved_thinking=true、thinking_type=adaptive、reasoning_effort=high |
| コンテキスト / 出力制限 | context_1m=true、model_context_length=1,000,000、max_tokens=64,000、model_max_tokens=65,535 |
| ハーネス制限 | max_iterations=500、runtime_timeout_sec=7,200、agent_timeout_multiplier=3.0 |
Last updated on