Оценка Qwen Code
В данной оценке сравниваются семь версий Qwen Code на бенчмарке SWE-bench Verified с использованием одной и той же модели Qwen 3.7 Max и одинаковой конфигурации. Средние результаты находятся в диапазоне от 76,40% до 77,80%, разброс составляет 1,40 процентных пункта.
Результаты по версиям Qwen Code
| Версия | Ср. результат | Доля прохождений | pass @3 | pass^3 |
|---|---|---|---|---|
| 0.0.14 | 77.80% | 84.6% | 84.6% | 69.2% |
| 0.1.0 | 76.73% | 84.6% | 84.6% | 68.0% |
| 0.5.0 | 76.60% | 83.0% | 83.0% | 68.4% |
| 0.10.0 | 76.47% | 84.4% | 84.4% | 67.4% |
| 0.15.0 | 77.67% | 84.6% | 84.6% | 68.6% |
| 0.19.0 | 76.40% | 85.0% | 85.0% | 65.8% |
| 0.22.0 | 77.33% | 84.4% | 84.4% | 68.0% |
Линейный график соединяет версии в порядке выпуска и использует явно подписанную шкалу 70%–80%. В таблице сохранены все представленные метрики; значения Pass Rate и pass @3 в данных результатах совпадают.
Конфигурация оценки
| Параметр | Значение |
|---|---|
| Набор данных | princeton-nlp/SWE-bench_Verified, 500 случаев |
| Запуски | 3 прогона на версию, 1 500 задач на версию; 7 версий Qwen Code |
| Модель | Qwen 3.7 Max |
| Сэмплинг | temperature=1, top_p=0.95 |
| Мышление / Рассуждение | interleaved_thinking=true, thinking_type=adaptive, reasoning_effort=high |
| Лимиты контекста / вывода | context_1m=true, model_context_length=1,000,000, max_tokens=64,000, model_max_tokens=65,535 |
| Лимиты стенда | max_iterations=500, runtime_timeout_sec=7,200, agent_timeout_multiplier=3.0 |
Last updated on