一份看得到標準答案的教師，未必能始終給出有用的下一步提示。這篇論文考察同策略蒸餾（on-policy distillation）：學生模型只接收題目並寫出推理；由同一個檢查點衍生出的特權教師額外接收已驗證解答，再對學生已經生成的前綴給出下一個 token 的分布。此前 OPSD 把這份教師固定住。作者的問題是：學生在訓練中學會回頭檢視、修正錯誤後，起點時的教師還能否為這些新軌跡提供合適的監督？
論文提出 Dynamic Co-Evolution（DCE）：每輪更新後的檢查點一邊繼續作為學生，一邊以停止梯度的方式成為下一輪、可見標準答案的教師。論文還搭配 Self-Refined Concise Learning（SRCL）：模型把自己的同策略解答改寫為更短的版本；只有自然結束、比原回答短、結構合格且答案正確的改寫才進入訓練。前者改變教師隨學生訓練停留在初始能力的問題，後者處理反覆檢查可能拉長輸出的成本。
[圖1：凍結教師更偏向終止而非反思。] 論文把固定的錯誤 Qwen3-8B 軌跡前綴同時交給演化中的學生（實線）和可見標準答案的凍結教師（虛線）評分；藍線為結束符機率，橙線為已出現反思位置上的反思標記機率。
一張錯誤軌跡圖說明了作者要替換什麼
圖 1 不是總體準確率圖，也不是一次新生成樣本的統計。它使用 AIME 2024、AIME 2025、AIME 2026 上固定的錯誤軌跡。在這些錯誤回答的終點，凍結教師給結束符的平均機率為 94.5%；在軌跡已經出現的反思位置，例如 Wait，它給反思標記的平均機率為 22.0%。論文據此提出一種解釋：教師雖能看標準答案，但對「當前這條錯誤推理如何繼續修正」的局部訊號有限；學生訓練後更常出現反思，兩者的分布會逐漸錯開。
這是一項對凍結教師訊號的探針，不等同於「94.5% 的回答都會錯」或「22.0% 就是反思成功率」。DCE 的具體做法也不是另訓一個更大教師：每一輪參數更新完成後，新的檢查點同時初始化下一輪學生和特權教師，教師分支不回傳梯度。標準答案只在特權教師的條件中使用；SRCL 的改寫生成階段不把標準答案給模型，標準答案用於驗收改寫是否正確。
[表1：Qwen3-8B 主結果。] 論文表 1 在非思考、32K、四項數學 Average@12 下並列報告 Base、SFT、GRPO、OPSD、DCE、DCE+SRCL 的準確率和平均生成 token；思考模式基礎模型以灰色跨模式參考單列。
65.97% 屬於四項競賽數學、非思考、32K 的 Average@12 設定
主表評估 AIME 2024、AIME 2025、AIME 2026 與 HMMT February 2025，每題取樣 12 次；四項各有 30 題，解碼為非思考模式、單次生成上限 32K token。這裡的 Average@12 是四項評測的平均準確率，不能讀成單次作答準確率，也不能直接外推到通用問答或程式碼任務。
Qwen3-8B 在這套協議下，基礎模型為 19.51%，GRPO 為 20.28%，凍結教師的 OPSD 為 30.35%。DCE 達到 65.76%，DCE 加 SRCL 為 65.97%，比 OPSD 高 35.62 個百分點。論文還給了一個只在推理時延長的對照：OPSD-TTS 被強制到 16K token 後為 30.76%，仍遠低於 DCE 的 65.76%。這支持「多生成 token 本身不足以重現該結果」的實驗結論；它不證明任何更長推理在其他訓練方案中都無效。
SRCL 的作用主要體現在 8B 的長度—準確率搭配
從 DCE 到 DCE+SRCL，8B 的平均生成長度由 19,046 降到 17,561 token，減少 7.80%，平均準確率從 65.76% 小幅升至 65.97%。分項變化並不全是上升：AIME 2024 從 74.72% 降至 73.89%，HMMT 2025 從 46.94% 降至 46.11%；AIME 2025 從 68.61% 升至 71.94%，AIME 2026 從 72.78% 降至 71.94%。因此，這張表支持的是平均指標近似持平且輸出更短，而不是 SRCL 在每一項題集上都提高準確率。
規模較小的結果也提示適用條件。Qwen3-4B 的 DCE+SRCL 為 61.88%，高於 OPSD 的 22.85%，平均長度從 DCE 的 19,360 降至 17,265 token；Qwen3-1.7B 則從 DCE 的 23.33% 到 26.88%，平均長度反而從 12,600 增至 19,504 token。表中的 1.7B 思考模式基礎模型為 36.88%，高於這個非思考結果；8B 的思考模式基礎模型是 62.08%，低於 65.97%。這些灰色列被論文標為跨解碼模式參考，排除在主排名外，不能作為相同設定的直接勝負判斷。
這篇論文給出的結論，邊界在訓練與評測協議內
論文訓練使用 OPSD 所採用的 14,717 道 OpenThoughts 數學推理題，並在 Qwen3 的 1.7B、4B、8B 等規模以及一個 Gemma-4-12B-IT 遷移實驗中報告結果。主結果說明，在這組數學訓練資料、非思考解碼和指定取樣預算下，隨輪次刷新特權教師的 DCE 與經過驗證的短改寫可以共同改善 8B、4B 的準確率—長度組合。
它尚未回答的包括：這種教師刷新是否適用於開放式寫作、真實工具呼叫或不同訓練語料；1.7B 的長度為何上升；以及跨模型、跨預算時最佳權重是否穩定。論文自己的敏感度實驗也只顯示測試區間內的局部、非單調變化。把 65.97% 描述為「Qwen3-8B 的通用推理能力」，或將圖 1 的探針數字當作最終效能，都超出了這篇論文提供的證據。
📄 原文標題
Recursive Self-Improvement via On-Policy Distillation for Reasoning
🔗 原文連結