正解を見られる教師が、常に有用な次の一手を示せるとは限らない。本論文はオンポリシー蒸留を検討する。学生モデルは問題だけを受け取り推論を書き、同じチェックポイントから派生した特権教師は検証済み解答も受け取って、学生がすでに生成したプレフィックスに対して次のトークン分布を出す。従来のOPSDはこの教師を固定していた。著者の問いは、学生が訓練中に見直しや誤り訂正を学んだ後でも、開始時の教師がこれらの新しい軌跡に適切な監督を与えられるのか、というものだ。
論文はDynamic Co-Evolution（動的共進化、DCE）を提案する。各ラウンドの更新後チェックポイントは、学生として続く一方、勾配停止の形で次ラウンドの、正解を参照できる教師にもなる。論文はさらにSelf-Refined Concise Learning（SRCL）を組み合わせる。モデルは自身のオンポリシー解答をより短い版へ書き換え、自然終了し、元の回答より短く、構造が適格で、答えが正しい書き換えだけが訓練に入る。前者は教師が学生の訓練に伴わず初期能力のまま留まる問題を変え、後者は繰り返し検証が出力を長くするコストに対処する。
[図1：凍結教師はリフレクションよりも終了を好む。] 論文は固定された誤りQwen3-8B軌跡プレフィックスを、進化中の学生（実線）と正解を参照できる凍結教師（破線）の両方に与えて採点する。青線は終了トークン確率、橙線はリフレクションがすでに現れた位置でのリフレクション・マーカー確率である。
ある誤り軌跡の図が、著者が何を置き換えようとしているかを示す
図1は全体正解率の図でも、新たに生成したサンプル1回分の統計でもない。AIME 2024、AIME 2025、AIME 2026上の固定された誤り軌跡を用いている。これらの誤答の終点で、凍結教師が終了トークンに与える平均確率は94.5%、軌跡にすでに現れたリフレクション位置、たとえばWaitでは、リフレクション・マーカーに与える平均確率は22.0%だった。論文はこれに基づき、教師は正解を見られるものの、「現在のこの誤った推論をどう続けて修正するか」という局所的な信号は限られており、学生が訓練後にリフレクションをより多く出すようになると、両者の分布が徐々にずれる、という解釈を提示する。
これは凍結教師の信号に対するプローブであり、「94.5%の回答が誤る」とか「22.0%がリフレクション成功率だ」という意味ではない。DCEの具体的な方法も、より大きな教師を別途訓練するものではない。各ラウンドのパラメータ更新が完了すると、新しいチェックポイントが次ラウンドの学生と特権教師の両方を初期化し、教師分岐には勾配を逆伝播しない。正解は特権教師の条件にのみ使われ、SRCLの書き換え生成段階ではモデルに正解を与えず、正解は書き換えが正しいかの検証に使われる。
[表1：Qwen3-8Bの主結果。] 論文の表1は、非思考、32K、4つの数学ベンチマークのAverage@12の下で、Base、SFT、GRPO、OPSD、DCE、DCE+SRCLの正解率と平均生成トークンを並べて報告する。思考モードのベースモデルは灰色のクロスモード参考として別列に示される。
65.97%は4つの競技数学、非思考、32KのAverage@12設定に属する
主表はAIME 2024、AIME 2025、AIME 2026、HMMT February 2025を評価し、各問題を12回サンプリングする。4ベンチマークはそれぞれ30問で、デコードは非思考モード、1回の生成上限は32Kトークンである。ここでのAverage@12は4評価の平均正解率であり、1回の解答正解率として読むことも、汎用QAやコードタスクへ直接外挿することもできない。
Qwen3-8Bではこのプロトコル下で、ベースが19.51%、GRPOが20.28%、凍結教師のOPSDが30.35%だった。DCEは65.76%、DCE+SRCLは65.97%に達し、OPSDより35.62ポイント高い。論文は推論時だけ延長する対照も示す。OPSD-TTSを16Kトークンに強制すると30.76%で、DCEの65.76%には依然として遠く及ばない。これは「生成トークンを増やすだけではこの結果を再現するのに十分でない」という実験的結論を支持する。ただし、他の訓練手法で長い推論がすべて無効だと証明するものではない。
SRCLの効果は主に8Bの長さ―正解率の組み合わせに現れる
DCEからDCE+SRCLへ、8Bの平均生成長は19,046から17,561トークンへ減り、7.80%減少し、平均正解率は65.76%から65.97%へ小幅に上がった。項目別の変化はすべて上昇ではない。AIME 2024は74.72%から73.89%へ下がり、HMMT 2025は46.94%から46.11%へ下がった。AIME 2025は68.61%から71.94%へ上がり、AIME 2026は72.78%から71.94%へ下がった。したがって、この表が支持するのは平均指標がほぼ横ばいで出力がより短いことであり、SRCLが各問題集すべてで正解率を上げることではない。
小規模な結果も適用条件を示唆する。Qwen3-4BのDCE+SRCLは61.88%で、OPSDの22.85%より高く、平均長はDCEの19,360から17,265トークンへ下がった。Qwen3-1.7BはDCEの23.33%から26.88%へ上がったが、平均長はむしろ12,600から19,504トークンへ増えた。表の1.7B思考モードベースは36.88%で、この非思考結果より高い。8Bの思考モードベースは62.08%で、65.97%より低い。これらの灰色行は論文でクロスデコーディングモード参考とされ、主ランキングから除外されており、同一設定での直接の勝敗判断には使えない。
この論文が示す結論の境界は、訓練と評価プロトコル内にある
論文の訓練はOPSDが用いた14,717問のOpenThoughts数学推論問題を使い、Qwen3の1.7B、4B、8Bなどの規模、および1つのGemma-4-12B-IT転移実験で結果を報告する。主結果が示すのは、この数学訓練データ、非思考デコード、指定サンプリング予算の下で、ラウンドごとに特権教師を更新するDCEと検証済みの短い書き換えが、8B、4Bの正解率―長さの組み合わせをともに改善し得ることである。
まだ答えていないことには、この教師更新がオープンエンドの文章作成、実際のツール呼び出し、異なる訓練コーパスに適用できるのか、1.7Bの長さがなぜ増えるのか、モデルや予算をまたいだときに最適な重みが安定するのか、が含まれる。論文自身の感度実験も、テスト区間内の局所的で非単調な変化しか示していない。65.97%を「Qwen3-8Bの汎用推論能力」と記述したり、図1のプローブ数値を最終性能とみなしたりするのは、この論文が提供する証拠を超えている。
📄 原文タイトル
Recursive Self-Improvement via On-Policy Distillation for Reasoning
🔗 原文リンク