論文タイトル：JudgeRLVR: Judge First, Generate Second for Efficient Reasoning
論文リンク：https://arxiv.org/pdf/2601.08468
TL;DR
中心的な課題：既存の検証可能な報酬を用いた強化学習（RLVR）は、モデルが試行錯誤やバックトラッキングで満たされた冗長な思考チェーン（CoT）を生成する傾向があり、推論効率が低く情報密度が不十分になります。ヒューリスティックな長さペナルティはこの問題を緩和できますが、精度を損なうことがよくあります。
解決策：「先に判断、後に生成」という2段階のトレーニングパラダイムであるJudgeRLVRを提案します。第1段階では、正しい解法プロセスと誤った解法プロセスを区別する能力（判別能力）をモデルに学習させます。第2段階では、判別モデルを戦略モデルの初期化に使用し、標準的なRLVRファインチューニング（生成能力）を行います。
主な結論：Qwen3-30B-A3Bモデルを用いた実験では、JudgeRLVRがドメイン内の数学タスクにおいて平均精度を3.7ポイント向上させ、同時に平均生成長を42%削減しました。ドメイン外のタスクでは、より強い汎化能力を示しました。この手法は、モデルが外部の「試行錯誤」を内部の「判別」として内面化することを促し、より直接的で効率的な推論パスを生成します。
1. 背景
大規模言語モデル（LLM）の推論能力の進化において、検証可能な報酬を用いた強化学習は、複雑な数学やコードの問題を解決するモデルの能力を向上させる標準的なパラダイムとなっています（DeepSeek-R1などの研究）。RLVRは、疎だが客観的な監視信号（最終回答が正しいかどうか）を通じて、監視付き微調整（SFT）データ以外の解法戦略をモデルに探索させるよう促します。
しかし、RLVRは重大な副作用、つまり思考チェーンの「無秩序な拡大」を引き起こします。
1.1 結果志向型最適化の盲点
RLVRは主に最終回答の正確性を最適化するため、モデルは「生成的探索」戦略を採用する傾向があります。つまり、多数の可能な試行分岐を列挙し、中間ステップを常に修正し、明示的な自己修正を行って「正解にたどり着く」のです。この行動パターンは2つの主要な問題を引き起こします：
1. 推論の冗長性と非効率性：生成された思考チェーン（CoT）の軌跡は極めて長く、バックトラッキングや自己否定で満たされています。例えば、「もう一度やってみよう」「ここは違うようだ、...で検証しよう」などです。これにより正確さは保証されますが、推論時の計算コスト（トークン消費）が大幅に増加します。
2. 低情報密度：長い出力は高品質な推論と同義ではありません。既存の研究（Kimi k1.5、DAPOなど）は、トークン数を抑制するために長さペナルティの導入を試みていますが、これはしばしば解決不可能なトレードオフを生みます。長さを短縮すると重要な推論ステップが切り捨てられ、精度が低下するからです。
1.2 認知科学からの示唆
著者は認知科学（Chi et al., 1981）から着想を得ました。専門家と初心者の違いは、探索を行うかどうかではなく、探索が発生する場所にあります。
初心者：外部化された試行錯誤を行い、すべての試行パスを紙に書く（またはコンテキストに生成する）傾向があります。
専門家：「早期の判別と刈り込み」能力を持ち、思考が展開される前に低価値のパスを識別して刈り込むことができるため、高価値の推論プロセスのみを出力します。
これに基づき、著者は次のような仮説を立てました。判別能力は効率的な生成の前提条件である。「良い推論」と「悪い推論」を区別することをモデルが学習して初めて、生成段階でこの指導信号を内面化し、明示的な長さペナルティに依存することなく、自発的に探索空間を刈り込むことができるようになります。
2. JudgeRLVRの2段階パラダイム
JudgeRLVRは、推論戦略のトレーニングを判別段階と生成段階という2つの順次実行される段階に分解します。
図2 JudgeRLVRの2段階トレーニングパイプライン
2.1 記号の定義
問題領域Q、正解y*。
解法応答、論理プロセスを含み、最終回答で終わるトークンシーケンス。
決定論的パーサーを介して予測回答y^を抽出。
正解ラベルc、y^ = y*の場合のみ1。
2.2 第1段階：判別段階
この段階の目標は、モデルを「審判」として訓練し、誤ったパスを識別する能力を持たせることです。
データ構築：ハードネガティブマイニング
高品質な判別器を訓練するために、データの構築が重要です。著者は以下の戦略を採用しました：
1. ロールアウト生成：各問題に対して、複数のモデル（MiMo-7B RLやターゲットモデルQwen3-30B-A3B-SFTなど）を使用して候補応答のセットを生成します。
2. ハードネガティブマイニング：通過率が0でも1でもない「中程度の難易度」の問題を優先的に選択します。この種の問題が生成する誤った回答は通常「もう少しで正解」に近く、純粋なランダムエラーよりも判別訓練の価値が高いです。
3. クラスバランス：正例と負例をダウンサンプリングしてバランスを取り、モデルがクラスの事前バイアスを学習するのを防ぎます。
トレーニング目標
モデルは問題と候補応答を受け取り、2つの内容を出力します：
1. 批評/解説：推論プロセスの分析を含みます。
2. 判決トークン：0は不正解、1は正解を表します。
報酬関数は、判決が真のラベルと一致するかどうかとして定義されます。
この時の戦略ネットワークは条件付き確率を学習します。
このステップの鍵は、モデルが「問題を解く」だけでなく、「問題を見る」ことや「間違いを見つける」ことも学習しなければならない点です。このトレーニング方法により、モデルは推論論理の厳密さに対する内在的な評価基準を確立することを強制されます。
2.3 第2段階：生成段階
この段階は標準のVanilla RLVR設定に戻りますが、重要なのは初期化です。
初期化：戦略モデルは、第1段階で訓練された判別モデルの重みを使用して初期化されます。
トレーニングフロー：問題が与えられると、モデルは思考チェーンと回答を生成します。
報酬信号：疎な二値の最終回答正解報酬のみを使用します。
メカニズム仮説
著者は、この2段階トレーニングが2つのメカニズムを通じて推論品質を向上させると仮定しています：
1. スタイル転移：判別段階のトレーニングがモデルの言語スタイルを変化させ、より客観的で慎重な表現を好むようになります。
2. バックトラッキングの減少：モデルは生成段階で内面化された判別モードを活性化し、本来なら明示的に書き出す必要があった「検証・修正」プロセスを潜在空間（内部隠れ状態）で完了するため、テキストにおけるバックトラッキング語彙の減少として現れます。
3. 実験設定
このパラダイムの有効性を検証するため、著者は数学的推論と汎用能力ベンチマークで広範なテストを行いました。
3.1 モデルとアルゴリズム
ベースモデル：Qwen3-30B-A3B（MoEアーキテクチャ）、基本的なSFTを受けて命令追従能力を獲得。
トレーニングアルゴリズム：DAPO（Yu et al., 2025）、GRPO（Group Relative Policy Optimization）ファミリーのポリシー勾配法。
トレーニングハイパーパラメータ：
ロールアウトサイズ = 16。
動的サンプリング（全問正解または全問不正解のサンプルをフィルタリング）。
学習率 = 1e-6。
最大トークン数65536（長い思考チェーンをサポート）。
3.2 評価ベンチマーク
ドメイン内数学：AIME24, AIME25, MATH500, HMMT_feb_2025, BeyondAIME。
ドメイン外汎化：
GPQA Diamond（科学的推論）
IFEval（命令追従）
LiveCodeBenchv6（コード）
MMLU-Redux（一般知識）
ZebraLogic（論理推論）
3.3 比較ベースライン
1. Base SFT：RLトレーニングを受けていないベースモデル。
2. Vanilla RLVR：最終回答報酬のみを使用した単一段階トレーニング（合計250ステップ）。
3. JudgeRLVR：先に判別（145ステップ）、後に生成（105ステップ）、合計ステップ数はVanilla RLVRと一致させ、公正な比較を確保。
4. 主な実験結果の分析
表1 Base SFT、Vanilla RLVR、JudgeRLVR（Sequential）の主な結果比較
4.1 ドメイン内数学：品質と効率の両方での飛躍
AIMEやHMMTなどの高難易度数学ベンチマークにおいて、JudgeRLVRは顕著な優位性を示しました：
精度向上：Vanilla RLVRと比較して、JudgeRLVRはすべての数学ランキングでプラスの利益を達成しました。例えば、HMMT_feb_2025では+9.2ポイント、AIME24では+2.7ポイント向上しました。
長さの大幅な削減：これが最も顕著な成果です。AIME24では、平均生成長が21.8kから12.9kに低下し（-41%）、MATH500では71%も削減されました。
結論：これは「判別事前分布」が無効な探索ブランチを効果的に刈り込めることを直接検証しています。対照的に、Vanilla RLVRは「長さを積み増す」ことでわずかな精度向上を得ており、その推論プロセスは冗長さに満ちています。
4.2 ドメイン外汎化：能力の転移
数学以外のタスクにおいても、JudgeRLVRは優れたパフォーマンスを発揮しました：
GPQA Diamond：精度+5.2向上、長さ7.5%削減。科学的推論もより厳格な判別能力の恩恵を受けることを示しています。
コードタスク（LiveCodeBench）：精度+5.7向上、長さ18%削減。コード生成には精密な論理的計画が必要なことが多く、判別トレーニングが明らかに役立ちます。
命令追従：精度+6.5向上、ただ興味深いことに長さは12%増加しました。これは、厳密なフォーマットと制約が必要なタスクにおいて、モデルが（盲目的な試行錯誤ではなく）より詳細なチェックを通じてコンプライアンスを確保することを学習したことを示唆しています。
全体として、JudgeRLVRはドメイン外タスクで平均+4.5ポイント向上し、このパラダイムが学習したのは単に数学の問題を当てはめることではなく、汎用的な「高品質思考パターン」であることを証明しました。
5. アブレーションスタディとメカニズム分析
利益の源泉を探るため、著者は2つの重要なアブレーション実験を設計しました。
表2 JudgeRLVR、Judge Only、Mixed Strategyの比較
5.1 なぜ判別だけでいいわけではないのか？
第1段階の判別トレーニング（Judge Only）のみを行った場合、モデルのパフォーマンスはどうなるでしょうか？
結果：JudgeRLVRと比較して、Judge Onlyはすべての数学タスクで精度が低下し、生成長は有意に増加しました（例：AIME24で長さが74%増加）。
分析：これは、判別トレーニング自体が自動的に簡潔な生成戦略に変換されるわけではないことを示しています。逆に、純粋な「批評家」モデルは過度に慎重で冗長になり、出力でチェックプロセスを繰り返し悩む傾向があります。生成段階（RLVR）は不可欠であり、エラーに対するこの敏感さを効率的なパス選択戦略に変換する役割を担います。
5.2 なぜ2段階でなければならないのか？
判別タスクと生成タスクを混ぜて並列にトレーニングした場合（Mixed Strategy）、どうなるでしょうか？
結果：不安定なパフォーマンス。一部のタスクではJudgeRLVRに近いものの、IFEvalやコードタスクでは大幅に後退し、生成長は一般的に長くなりました。
分析：混合トレーニングは、同じ段階で2つの異なる目標（判別と生成）を最適化する必要があり、この干渉が明確な内部意思決定プロセスの形成を妨げます。順次実行戦略（先に判別を学び、後に生成を学ぶ）は、「歩くことを学んでから走ることを学ぶ」という学習曲線により合致しています。
6. モデルは何を学んだのか？
著者は定性的および定量的分析を通じて、JudgeRLVRがモデルの思考パターンを変化させた証拠を明らかにしました。
6.1 スタイル転移（PPL分析）
図3 トレーニング中のBase SFTのPerplexity (PPL) 変化
著者はBase SFTモデルをプローブとして使用し、トレーニング中のモデル出力のPerplexity（PPL）を計算しました。
Vanilla RLVR：PPLは平坦に維持され、その出力スタイルがBase SFTと大きく変わらないことを示しています。
JudgeRLVR（第1段階）：PPLが著しく上昇。これは判別トレーニングがモデルの言語分布を劇的に変化させ、元のSFTとは異なる「審判スタイル」を導入したことを示しています。このスタイルのバイアス（帰納バイアス）が、第2段階の効率的な生成の基盤となります。
6.2 明示的なバックトラッキングの減少
図4 トレーニング中の転換/バックトラッキング語彙の頻度変化
著者は生成テキストにおける転換語（but, however, wait, actuallyなど）の頻度を集計しました。
結果：JudgeRLVRの生成段階トレーニングにおいて、これらの語彙の絶対数と相対頻度は両方とも大幅に減少する傾向を示しました。
解釈：これは、モデルがもはや明示的な「間違いを書いてから修正する」ことに依存せず、思考チェーンが展開される前に暗黙的な予測と刈り込みを行うことを学習したことを示す強力な言語学的証拠となります。
7. ケーススタディ：思考チェーンの質的変化
論文は、具体的な座標変換問題（直交座標から極座標への変換）を通じて、2つのパラダイムの違いを直感的に示しています。
図1 Vanilla RLVRとJudgeRLVRの推論パターン比較
Vanilla RLVRの思考チェーン：
躊躇と繰り返しの検証で満たされています：「Let me confirm...」、「Just to be thorough...」、「But here...」。
非常に基本的な事実さえも繰り返し確認し、自信がなさそうに見えます。
解法ロジックではなく、心理活動を記述するために大量のトークンを消費しています。
JudgeRLVRの思考チェーン：
いきなり本題に入り、直接公式を列挙します。
計算プロセスは線形に進み、冗長な分岐はありません。
結果を導き出した後、余計な自己疑念なしに直接回答を出力します。
結果：論理が明確で、長さはVanillaの3分の1のみであり、回答は正解です。
8. 深い議論と展望
8.1 効率と品質のトレードオフへの新たな解
長い間、RLVR分野では、より長いCoTは必然的により良いパフォーマンスをもたらすという誤解がありました（テスト時計算スケーリング）。JudgeRLVRはこの観点に挑戦し、現在の多くの長いCoTは実際には非効率的な「疑似推論」であると指摘しています。トークンの情報密度を高めることで、より短い長さでより高い精度を実現できます。これはLLMの推論コスト削減に大きな意義を持ちます。
8.2 Process Reward Model (PRM)との関係
JudgeRLVRの第1段階は暗黙的なPRMトレーニングと見なすことができますが、高価なステップごとの注釈付きデータは必要ありません。全シーケンスの判別タスク（Good/Bad Responseの区別）を構築することで、プロセス品質の知覚をモデル自ら習得させます。これは、細粒度の注釈が不足しているシナリオで推論能力を向上させるための新しい道を提供します。
8.3 限界
JudgeRLVRは数学的・論理的タスクで優れたパフォーマンスを示していますが、極めて高い創造性や発散的思考が必要なタスク（創作など）において、早期の「刈り込み」が多様性を抑制するかどうかは、さらに検討が必要です。
詳細は原文をお読みください。