強化学習（RL）は、大規模言語モデル（LLM）の推論能力を向上させる中核的なポストトレーニングツールとなっている。RLポストトレーニングシステムにおいて、ロールアウト（プロンプトから終端までのサンプリング軌跡であり、中間推論ステップや、オプションのツールや環境とのインタラクションを含む）は、オプティマイザが学習に用いるデータを決定づける。しかし、ロールアウト設計は実装の詳細として過小評価されがちである。本レビューは、RLベースの推論LLMポストトレーニングに対し、オプティマイザに依存しないロールアウト戦略の視点を提供する。我々は統一された記法でロールアウトパイプラインを形式化し、GFCR（生成-フィルター-制御-再生）ライフサイクル分類法を導入する。これにより、ロールアウトパイプラインを4つのモジュール段階に分解する。Generate（生成）は候補軌跡を提案し、Filter（フィルター）は検証器、判定者、評論家を通じて中間信号を構築し、Control（制御）は予算内で計算資源を配分し、継続・分岐・停止の決定を下す。Replay（再生）は重みを更新することなく、ロールアウト間で成果物を保持・再利用する。また、信頼性、カバレッジと情報性、コスト感応性という3つの基準を補足し、ロールアウト設計がトレードオフすべき要素を記述する。数学、コード/SQL、マルチモーダル推論、ツール利用エージェント、エージェントスキルベンチマークといったケーススタディを通じて、このフレームワークの有効性を検証する。
1 はじめに
LLMのポストトレーニングにおけるRLの地位が高まるにつれ、ロールアウト戦略の重要性が増している。ロールアウトとは、プロンプトから終端までのサンプリングされた軌跡であり、純粋なテキスト設定では中間推論と最終回答を含む完全な出力として現れ、ツールや環境とのインタラクション設定では、行動-観測ループと外部フィードバックを含む。ロールアウト設計は、しばしば学習コストと学習信号の質を左右するが、既存の文献は最適化アルゴリズムと報酬モデリングに集中しており、ロールアウト戦略の詳細は過小評価されるか、隠蔽されがちである。
論文中の4つの図は以下の通りである。
- 図1
は、ロールアウトライフサイクルとGFCR分解の全体像を提供する。これは、軌跡の提案方法、中間信号の構築方法、計算資源の配分方法、ロールアウト間でどの成果物が保持・再利用されるか、といったモジュール選択としてロールアウトパイプラインを理解できることを示している。 - 図2
は、エンドツーエンドのロールアウトシステムとしてのGFCRの完全なフローを示す。プロンプトと計算予算が与えられると、Generateはロールアウト群をサンプリングし、Filterは各ロールアウトに対して中間信号と学習教師信号を構築し、Controlはコストと信号に基づき継続・剪定・再サンプリングを決定し、何を保存するかを決める。Replayは将来の生成を調整するために成果物を取得・保存する。目標は、計算制約下で期待効用を最大化することである。 - 図3
は、ロールアウト基準分類法を示し、信頼性（検証器やロバストな判定者による信頼できる信号）、カバレッジと情報性（多様な候補と不一致・不確実性）、コスト感応性（価値対コスト比と早期停止による予算内での価値）という3つの交差する次元に分解している。 - 図4
は、Generateモジュールの設計空間を示す。ロールアウト提案メカニズムは、トポロジーとインタラクション（単線、グループ、ツリー/グラフ、マルチターン/ツールロールアウト）、ガイダンスとスキャフォールディング（事例/ルール、計画、内省、適応的ガイダンス、ツール強化）、サンプリングと探索設定（デコードパラメータ、不確実性認識配分、部分ロールアウトと再開、サンプリングのみの推論強化）という3つの軸に沿って整理できる。
本レビューの貢献は以下を含む。ロールアウト戦略の初の体系的な整理、GFCRと基準分類法の提案、様々なロールアウト手法の統合、複数ドメインの事例による検証、診断インデックスと未解決の課題の提供である。
2 関連研究
我々は本レビューを既存のサーベイと対比する。既存のサーベイは主にフィードバックモデリング、報酬学習、最適化目標を中心に構成され、ロールアウト戦略を暗黙的に扱っている。例えば、RLHFと選好学習のサーベイはフィードバック収集とモデリングを強調する。RL強化LLMサーベイはRLHF、RLAIF、直接選好最適化系列を要約する。技術サーベイはRLアルゴリズムと学習メカニズムに焦点を当てる。パイプラインレベルのサーベイは、RLがデータ生成、事前学習、ポストトレーニング、テスト時推論のどの位置に現れるかを分類する。推論とエージェント中心のレビューは、多段階推論、探索、環境インタラクションに焦点を当てる。対照的に、本レビューはロールアウト戦略を分析単位とし、異なるシステムがトポロジー、サンプリング、スコアリングの粒度、予算配分、経験の再利用をどのように組み合わせているかを比較するためのモジュール語彙を提供する。
3 基礎：ロールアウト、基準、GFCRフレームワーク
本節では基礎を確立する。まず、GFCRの機能分解であるGenerate、Filter、Control、Replayの4つのモジュールを紹介する。次に、グローバルな記号を定義する。ロールアウト τ = (x, u_1:T, o_1:T)、ここでxはプロンプト、u_tはモデルの行動、o_tは環境の観測である。学習システムは通常、単一のロールアウト、またはK個のロールアウト群をサンプリングする。Filter信号はϕと記され、学習信号SはScore(ϕ)から得られる。計算コストc(τ)と予算Bが全体の最適化を制約する。
GFCRモジュールはしばしば交互に実行される。Filter信号はControlの決定（剪定や早期停止など）をトリガーし、Replayの成果物は将来のGenerateをシードし、Controlポリシーはどの成果物がReplayに入るかを決定する。
基準分類法は、信頼性（検証可能な結果、ロバストな判定者スコア）、カバレッジと情報性（多様な候補、不一致信号）、コスト感応性（価値正規化、早期停止）という3つの要求を記述する。GFCRは機能分解であり、基準は選択の理由と評価方法の記述である。
4 Generate：軌跡の提案方法
Generateモジュールは、候補ロールアウトの提案方法を規定する。出力は候補集合 T(x) = {τ^(i)} であり、トポロジーTopo、ガイダンスz、サンプリング設定κ_Gの影響を受ける。トポロジーは線形、グループ、ツリー/グラフ、インタラクティブの4つに分類される。線形ロールアウトは単一の軌跡をサンプリングする。グループロールアウトはK個の並列候補をサンプリングし、グループ内比較と分散削減をサポートする（GRPOなど）。ツリー/グラフロールアウトは中間プレフィックスで分岐し、共有プレフィックスを通じて計算を償却し、剪定により予算を配分する。マルチターン/ツールロールアウトは、行動-観測ループ内で動作する。
ガイダンスとスキャフォールディングには、ICLシード、計画条件付け、内省サブロールアウト、適応的ガイダンス強度、ツール強化が含まれる。サンプリング戦略には、デコードパラメータ（温度、top-p）、不確実性認識サンプリング（報酬分散やセマンティックエントロピーに基づき計算を配分）、サンプリングのみの推論強化が含まれる。
代表的な手法には、GRPO、DAPO、TreeRPO、TreeRL、RAGENなどがある。
5 Filter：ロールアウトから学習信号へ
Filterモジュールは、候補ロールアウトを中間信号とオプティマイザ向けの教師信号にマッピングする。形式化すると、ϕ_i = F(τ^(i); T(x)) であり、構造的有効性ゲーティング（解析/コンパイル/実行可能性）、正当性検証（ユニットテスト、完全一致）、プロセス品質スコアリング（ステップレベルPRM）、比較評価（ペアワイズ/リストワイズ判定）、学習価値信号（不確実性、エントロピー）、学習信号構築（重み、アドバンテージ、ラベル）を含む。
構造的有効性ゲーティングは、フォーマットが一致しないロールアウトをフィルタリングし、偽陰性を減らす。正当性検証はコード（ユニットテスト）や数学（完全一致）に用いられる。プロセススコアリングはステップごとの部分的なクレジットを提供する。比較評価は判定者を通じて相対的な選好を実現する。学習価値信号は重み付けやガイド付きサンプリングに用いられる。
代表的な手法には、xVerify、RLTF、CodeRL、LightmanらによるPRM、GRPOのグループ内正規化などがある。
6 Control：計算配分、決定ルール、オン/オフポリシーノブ
Controlモジュールが扱う問いは、限られた予算の下で、どのサンプルをロールアウトし続ける価値があるか、どのプレフィックスを早期停止すべきか、どの分岐を拡張または剪定すべきか、そして学習時に新鮮なオンポリシーデータと過去のオフポリシーデータをどの程度混合すべきか、である。これは、Filterが生成した中間信号、各軌跡の計算コスト、グローバルな予算制約を一連の意思決定に変換し、オプティマイザが実際に見るロールアウト群の分布を直接形成する。言い換えれば、Generateは「何を生成できるか」を決定し、Filterは「どの信号が利用可能か」を決定し、Controlは「計算資源をどこに費やすか」を決定する。
形式的には、Controlは予算制約下での逐次的意思決定プロセスとして理解できる。プロンプトxに対して、システムは展開中の部分軌跡プレフィックスの集合を維持し、各ステップでコストc(τ)、予算B、Filter信号ϕ、学習教師信号Sに基づき、継続、剪定、再サンプリング、または保存を決定する。論文では、その目標を、各プロンプトまたはグローバルな予算制約の下で学習効用U(T)を最大化することと記述している。ここでの効用とは、利用可能なサンプルサイズ、信号強度、正確性向上、またはその他の学習価値の代理指標を指す。
6.1 プロンプトとタスクの選択
第一の制御はロールアウトの前に行われる。どのプロンプトを生成する価値があるかを選択する。従来の手法は、通常、学習分布から一様にサンプリングするが、多くのプロンプトが寄与する学習信号は低い。例えば、ロールアウトグループ内の全サンプルの報酬が完全に同一である場合、GRPO系の手法におけるグループ内アドバンテージはゼロに崩壊し、勾配がほとんど生じない。GRESOはこのようなゼロ分散プロンプトを予測し、探索を維持しつつスキップしようと試みる。VCRLはグループ内報酬分散をサンプル難易度の代理とみなし、容易すぎる、または難しすぎるプロンプトは分散が低く、中程度の難易度のプロンプトがより有用な学習信号を生み出す傾向があると考える。
別のアプローチでは、不確実性モデリングをタスク選択に利用する。VADEはベータ事後分布を用いて各プロンプトの正解率を推定し、トンプソンサンプリングによって情報量の多いプロンプトにバイアスをかける。SEED-GRPOはプロンプトを直接選択するのではなく、複数の回答のセマンティックエントロピーに基づいて方策の更新幅を調整し、不確実性の高いサンプルに対してより保守的な更新を行う。SECはカリキュラム選択を非定常多腕バンディット問題としてモデル化し、カテゴリレベルでどの難易度やタスクタイプがより高い学習利益をもたらすかを学習する。これらに共通するトレンドは、ロールアウト配分がもはや固定的なサンプリングプロセスではなく、適応的な資源管理問題であるということである。
6.2 予算とスケジューリング
第二の制御は、各プロンプトに割り当てるロールアウトの幅、深さ、トークン予算を決定する。初期のGRPOスタイルの学習では、固定のK個の候補を用いることが多かったが、固定幅は簡単な問題では計算資源を浪費し、困難な問題では探索が不十分になる可能性がある。論文では、分散認識、難易度認識、不確実性認識のスケジューリング手法を要約している。情報量の少ないサンプルには少なくサンプリングし、議論のあるサンプルや不確実性の高いサンプルには候補数、探索深度、またはトークン予算を増やす。
このスケジューリングはシステムスループットにも影響を与える。長い推論ロールアウトには顕著なロングテールがあり、少数の極端に長いサンプルが同期学習を遅延させる。そのため、制御層はロールアウト数、最大長、候補グループサイズ、木探索幅、バッチ負荷分散を同じ予算フレームワーク内で考慮する必要がある。その中心的なトレードオフは、固定予算は安定した実装をもたらすが、適応予算は計算効率を向上させる一方で、選択バイアスや再現性の困難さをもたらす可能性があることである。
6.3 ロールアウト設定の制御
第三の制御は、単一の軌跡の形態を対象とする。最大長、「深い思考」の有無、温度、top-p、簡潔性報酬、正負サンプル比率などが含まれる。ShorterBetterは、最短の正解を用いてSample Optimal Length（SOL）を定義し、インスタンス適応的な最適なCoT長を学習することを目指す。DECSは、軌跡レベルの報酬とトークンレベルの最適化の間に不一致が存在することを指摘し、デカップリングされたトークンレベル報酬とカリキュラムバッチスケジューリングを導入し、必要な探索を抑制することなく冗長なトークンを削減する。
長い推論自体が必要かどうかも制御可能である。AdaptThinkは、簡単な問題では直接回答モードが長い推論よりも優れている可能性があることを観察し、問題の難易度に応じて思考モードと非思考モードを選択するようモデルを学習させる。Large Hybrid-Reasoning Modelsは、コールドスタートファインチューニングとオンラインRLを用いてハイブリッド思考決定を学習する。CoRLは外部LLM推論を呼び出す際の性能とコストのトレードオフに焦点を当てる。GFPOやTrain Long, Think Shortは、学習段階でサンプリングとフィルタリングに若干のコストをかけることで、テスト段階でより短く効率的な推論が得られる可能性があることをさらに示している。
6.4 早期終了、分岐、オン/オフポリシー、システムスループット
Controlは、部分ロールアウトの早期終了、木探索の剪定、マルチエージェント分岐制御もカバーする。あるプレフィックスがローカルチェッカーによって既に成功と判定された場合、または高信頼度で失敗と判定された場合、システムは生成を停止できる。木上の特定の分岐の見込みが低い場合、剪定を行い、予算をより有望な分岐に移すことができる。TreeRPOなどの手法は、木サンプリングを利用して異なる推論ステップの期待報酬を推定し、より密なステップレベルの学習信号を構築する。
最後に、Controlはオンポリシーデータとオフポリシーデータをどのように混合するかも決定する。オンポリシーロールアウトは現在の方策と一致するが高コストであり、履歴再生はサンプル効率を向上させるが、方策ドリフトのリスクをもたらす。RePOはGRPOにリプレイバッファを追加し、ReMixはPPO/GRPOなどのオンポリシーRFT手法がオフポリシーデータを利用できるようにする。AR3POは、現在の方策の下で古い応答のトークン確率を再計算することで、重要度比の暴走を緩和する。システムレベルでは、ReSpec、DAS、TLT、EARL、Seerなどの手法が、投機的デコーディング、ロングテール負荷分散、動的並列処理、類似サンプル再利用を制御問題に組み込み、ロールアウトスループットを向上させる。
7 Replay：保持、再利用、自己進化
Replayモジュールは、ロールアウト終了後に「何を残す価値があるか、どのように再利用するか、いつ破棄するか」に焦点を当てる。これは単なるデータキャッシングではなく、過去に生成された軌跡、検証信号、サブステップ、失敗サンプル、正解アンカー、ツールインタラクション記録を検索可能な成果物として組織化し、将来のGenerate、Filter、Controlが利益を得られるようにする。論文では、保存ルールRstoreと検索ルールRretrieveを用いてReplayを形式化する。前者はどの軌跡や信号がバッファに入るかを決定し、後者は類似度、正確性、多様性、コスト、新鮮さに基づいて新しいプロンプトに関連する成果物を検索する。
7.1 応答の再サンプリングと保持
最も直接的なリプレイは、完全な応答を再利用可能な単位とすることである。その役割は二つある。一つは過去の高価値サンプルを再利用し、データ効率を向上させること。もう一つはグループ正規化目標においてアドバンテージ信号を安定化させることである。例えば、現在のプロンプトの全ロールアウトが誤っている場合、GRPOの報酬分散はゼロとなり、勾配が消失する。DAPOは、全誤でも全正でもないバッチを動的サンプリングで見つけ続けようとするが、推論コストを増大させる。AR3POは、早期の正解応答を保持し、現在のグループが全誤である場合に、キャッシュされた正解サンプルを注入することで、誤ったロールアウトにゼロ勾配ではなく負のアドバンテージを得させる。
リプレイバッファはオフポリシー再利用もサポートする。RePO、ReMix、ExGRPOなどの手法は、履歴応答を利用してサンプル効率を改善する一方で、方策ドリフトや重要度重みの問題に対処する必要がある。古い方策πθ−が現在の方策πθと大きく異なる場合、再利用サンプルはバイアスをもたらす可能性がある。そのため、確率の再計算、KL制約、正確性/エントロピー/学習進捗に基づくランク付け、またはリフレッシュと淘汰のメカニズムを設定する必要がある。
7.2 軌跡の再構成とセグメント再利用
第二のリプレイ粒度は、完全な軌跡ではなく、検証可能なセグメントである。長い推論、コード修正、ツール呼び出し、エージェントタスクは多くの場合、複数のサブ問題やサブ軌跡を含み、そのうち特定のプレフィックス、パッチ、テスト、ツール結果は再利用可能である。これらのセグメントを分割、検証、保存し、新しいタスクで再構成することで、共有計算を償却し、学習信号を「最終的な正誤」から局所的なステップへと細分化できる。
この考え方は特にコード、SQL、数学証明、マルチステップエージェントに適している。コードタスクでは、検証済みパッチ、ユニットテスト、エラーログ、修正セグメントをキャッシュできる。数学タスクでは、正しい中間補題や短い正解セグメントを将来の問題解決のスキャフォールドとして利用できる。ツールエージェントでは、成功したWebナビゲーションサブプロセスやAPI呼び出しシーケンスを検索可能なスキルに変換できる。完全なリプレイと比較して、セグメントリプレイはより柔軟であるが、境界分割、セグメントの正確性検証、コンテキスト互換性の判断により依存する。
7.3 自己進化カリキュラムと内発的フィードバック
第三のリプレイはさらに進んで、ロールアウトは単なる学習データではなく、能動的に学習分布を拡張するものとなる。STaR、Self-Rewarding、Self-Play RL、AGILE/Auto-RL、Agent0、LANCEなどの手法は、この自己進化の考え方を体現している。モデルは新しいタスクを生成し、既存の欠陥を内省し、より困難なサンプルを構築し、データに選好ラベルを付与し、さらにはカリキュラムエージェントと実行エージェントが相互に促進し合うことができる。カリキュラムエージェントは、より困難でツールを必要とする問題を提案し、実行エージェントはRLを通じてこれらの問題解決を学習する。
この種の手法の可能性は、人手によるアノテーション依存を減らし、能力の限界を継続的に拡張することにある。リスクは、バイアスの蓄積、品質ドリフト、追跡不可能性である。自己生成タスクが実際のニーズからますます乖離したり、報酬モデルと方策が共にドリフトしたりすると、Replayは誤った選好を学習に固定化してしまう。そのため論文では、リプレイにはソース、方策バージョン、検証結果、タイムスタンプ、リフレッシュ状態を記録し、再利用サンプルに価値があり、監査可能であることを保証する必要性を強調している。
8 ドメインとケーススタディ
論文では、ベンチマークをロールアウトインターフェースとして捉える。タスクインスタンスxは分布Dから得られ、モデルはインターフェース内で軌跡τ=(x,u1:T,o1:T)を生成する。ここでuはモデルの行動、oは環境の観測である。異なるドメインの中核的な違いは、タスク内容だけでなく、インターフェースがどのようなフィードバックを返すか、検証器が信頼できるか、軌跡がマルチターンか、セグメントを再利用できるか、予算を深度、幅、再生にどのように配分すべきか、といった点にある。
8.1 検証可能な言語インターフェース
数学、コード、SQLは最も典型的な検証可能言語インターフェースである。数学タスクは通常、純粋なテキストロールアウトであり、最終的な回答は正規化された後、完全一致またはルール検証によって評価される。DeepSeekMath、DeepSeek-R1、SEED-GRPOなどのシステムは、RLVRスタイルの目標が数学データやサンプリング戦略とどのように組み合わされるかを示している。TreeRL、TreeRPO、VCRLなどの手法は、木/グループロールアウト、分散認識カリキュラム、不確実性サンプリングが学習の安定性とコストに著しく影響することをさらに示している。
コードとSQLは実行接地インターフェースである。モデルはプログラム、パッチ、クエリを出力し、検証器はコンパイル、実行、ユニットテスト、またはデータベース実行によって提供される。CodeRL、RLTF、LiveCodeBench、BIRD、Arctic-Text2SQL-R1などの事例は、実行フィードバックが自然に「生成-実行-失敗の観測-修正」という多段階ロールアウトを形成することを示している。ここでのFilterは非常に具体的である。コンパイル可能か、テストに合格するか、実行結果が同等か、などである。Replayも自然に行われる。テストに合格したパッチ、エラーログ、部分クエリ、検証済みセグメントをキャッシュできる。
8.2 マルチモーダル推論インターフェース
マルチモーダルタスクは、入力を画像、動画、空間シーン、または音声-視覚セグメントに拡張する。数学やコードとは異なり、マルチモーダル推論には普遍的に強力な検証器が欠けていることが多い。そのため、システムはタスクをルール検証可能に設計するか、構造化された回答抽出、ラベルチェック、合成データ、専用の評価プロトコルを活用して、比較的安定した報酬を得る必要がある。R1-VL、MMR1、SpaceR、SPACEVISTA、InternSpatial、SPAR、VSI-Benchなどの研究は、この方向性を示している。
GFCRにとって、マルチモーダルインターフェースはGenerateをより複雑にする。ロールアウトには視覚的観測、テキスト推論、空間的関係判断が含まれる可能性がある。Filterは自由形式のテキスト回答をチェック可能な構造に変換する必要がある。Controlは、より多くの視覚的証拠、より多くのサンプリング、またはより長い推論が必要かどうかを決定する必要がある。Replayは、検証済みの視覚-言語推論テンプレート、空間関係セグメント、または合成サンプル生成戦略を再利用できる。
8.3 エージェントインタラクティブベンチマーク
エージェントインタラクティブタスクと純粋なテキストタスクの重要な違いは、o1:Tが空ではないことである。モデルの各行動は環境を変化させ、観測を受け取る。ソフトウェアエンジニアリングベンチマーク（SWE-Bench、SWE-agent、SWE-Gym、Agent-RLVRなど）は、モデルがコードベース内で問題を特定し、ファイルを編集し、テストを実行し、フィードバックに基づいて反復することを要求する。Webエージェントベンチマーク（BrowserGym、AgentDojo、ARLAS）は、モデルがクリック、入力、閲覧し、Webページの状態を処理することを要求し、間接的なプロンプトインジェクションなどのセキュリティリスクに直面することもある。対話シミュレータ（RLVER、SAGE）は、ユーザー状態と感情軌跡を検証可能な報酬源として利用する。
これらのベンチマークにおけるロールアウトは通常長く、スパース報酬が顕著であり、環境フィードバックは高コストである。したがって、Controlの役割は増幅される。いつ停止するか、いつ後退するか、いつ新しい分岐を開くか、ツールの呼び出しを継続するかどうか、これら全てがコストと成功率を決定する。Replayもまた、「答えを覚える」ことから「プロセスを覚える」ことへと変化する。成功したツール呼び出しシーケンス、Webナビゲーションフロー、コード編集戦略、失敗診断はすべて、将来のタスクで再利用可能な経験となり得る。
8.4 エージェントスキルベンチマーク
エージェントスキルベンチマークは、モデルが軌跡から再利用可能なスキルを帰納し、新しいタスクに転移できるかどうかをさらに検証する。WebArena、Mind2Web、BrowserGymなどの環境では、Agent Workflow Memoryがサブプロセスを検索可能な自然言語ワークフローとして抽象化する。Agent Skill Inductionはスキルを再実行可能なPython関数として表現する。SkillWeaverはエージェントが自動的に再利用可能なAPIを発見し、磨き上げることを可能にする。ReUseItなどの研究は、異なるタスクやモデル間でのスキル再利用に焦点を当てる。
この種のインターフェースにおいて、GFCRの4つのモジュールは、より長期的な学習ループに似ている。Generateは候補行動とスキル呼び出しを生成し、Filterはスキルが成功したか検証し、Controlはスキルライブラリに保存するか探索を続けるかを決定し、Replayは新しいタスクで古いスキルを検索する。論文では、このようなシナリオがロールアウト戦略を「単一のポストトレーニングサンプリングテクニック」から「継続的な自己改善システム設計」へと押し上げることを強調している。鍵となるのは一度のタスク成功だけでなく、保守可能、追跡可能、転移可能な経験ライブラリを形成できるかどうかである。
9 失敗モードと未解決の課題
一般的なロールアウトの病理には、ゼロ報酬モード（全ロールアウト失敗）、報酬ハッキング、長さの膨張、信号ノイズ、計算の浪費、再生の陳腐化などが含まれる。GFCRフレームワークは診断インデックスを提供し、各病理を特定のモジュールと緩和レバーにマッピングする。未解決の課題には、検証器/判定者のキャリブレーション、原則的な計算会計、安全な自己進化と来歴追跡、再現性を高めるための報告基準の改善などが含まれる。
10 結論
本レビューは、GFCRフレームワークを通じて、LLM強化学習ポストトレーニングにおけるロールアウト戦略を体系的に整理した。我々はロールアウトパイプラインを生成、フィルター、制御、再生の4つのモジュールに分解し、信頼性、カバレッジ、コスト感応性の基準で補足した。数学、コード、マルチモーダル、エージェントなどのドメイン事例を通じて、このフレームワークの統一的な記述能力を示した。我々は診断インデックスと未解決の課題を提供し、より再現可能で、効率的かつ信頼できるロールアウトパイプライン設計を推進することを期待する。