原文：https://zhuanlan.zhihu.com/p/2038002855374753895

非同期エージェントRLに関する我々の最新の研究をご紹介します。本稿は、大規模LLM強化学習システムにおいて非常に基本的でありながら、しばしば見過ごされている問題に焦点を当てます。それは、ロールアウトとトレーニングが非同期的に分離された後、PPO系のオフポリシー補正が真に必要とする「旧ロジット」が、多くの場合失われてしまっているという点です。

論文：Missing Old Logits in Asynchronous Agentic RL: Semantic Mismatch and Repair Methods for Off-Policy Correction
リンク：https://arxiv.org/abs/2605.12070
コード：https://github.com/millioniron/async_fixedic

これは一見するとエンジニアリングの細部のように思えますが、PPOの目的関数における本来独立しているべき二つの補正プロセス、すなわち「トレーニングと推論の不一致補正」と「方針の陳腐化補正」に直接的な影響を及ぼします。旧ロジットが失われると、これら二つのプロセスが混ざり合い、もともと意味的に明確だった分離補正が機能しなくなります。

この問題に対し、我々は既存の非同期エージェントRLにおける数種類のオフポリシー補正パラダイムを体系的に分析し、旧ロジットを正確に復元する三つの方法を議論し、より低コストで大規模学習に適した近似手法であるPPO-EWMAを提案します。

我々の実験は、DenseおよびMoEという二種類のLLMにおいて、修正されたPPO-EWMAが性能とシステムオーバーヘッドの間でより優れたバランスを達成することを示しています。一方、理想的なSnapshot手法は、「補正を行うかどうか」ではなく、「補正に用いる参照方針が意味的に正しいかどうか」が問題の核心であるという我々の重要な判断を検証するのに役立ちました。

TLDR

現代のエージェントRL学習システムでは、ロールアウトは多くの場合vLLMやSGLangなどの推論エンジンが担当し、学習はMegatron-LMやFSDPなどの学習エンジンが担当します。同時に、スループット向上のため、学習パイプラインは非同期ロールアウト、遅延更新、部分ロールアウトといったメカニズムを採用することがよくあります。

これにより、互いに異なる二つの問題が生じます。

1. 学習・推論不一致（Training-Inference Discrepancy）：ロールアウト側と学習側が名目上同じモデルバージョンを使用していても、両者のトークン確率は、カーネル、精度、量子化、並列戦略、MoEルーティングなどの差異により一致しない可能性があります。

2. 方針の陳腐化（Policy Staleness）：データが実際にアクターの更新に供される時点では、それらのサンプルを生成した挙動方針は、現在の学習方針よりも遅れていることがよくあります。

理論的には、これら二つの問題は別々に扱われるべきです。理想的には、全体の重要度比は二つの部分に分解されるべきです。一つは学習・推論不一致の修復、もう一つは方針陳腐化の制約です。

しかし、実際の非同期システムにおいて、この分解は一つの重要な前提に依存しています。それは、これらのトークンが生成された時点に対応する、学習側の旧ロジットを取得できなければならないということです。

そして、我々の核心的な発見は、非同期エージェントRLにおいては、この前提が成り立たないことが多いということです。旧ロジットの欠落は、不一致の修復と陳腐化補正を混在させ、分離補正の本来の意味を損なってしまいます。

この問題を解決するために、我々は二つのことに取り組みました。システム面から旧ロジットを正確に復元する三つの経路を分析すること、そしてアルゴリズム面から非同期ウィンドウにより適した修正版PPO-EWMA近似参照方針を提案することです。

Qwen3-4BとQwen3-30B-A3Bを用いた実験では、PPO-EWMAが通常のDecoupled PPOやLinear_proxを安定して上回り、多くのタスクで理想的なSnapshotの上限に迫ることが確認されました。

研究の動機：なぜ非同期RLにおける旧ロジットが核心的問題となるのか？

PPO系の手法が安定している重要な理由の一つは、その重要度比とクリッピング機構が、「これらのサンプルが実際にどの古い方針によって生成されたのか」をデフォルトで既知としている点にあります。

同期的またはほぼ同期的な学習では、これは通常容易に成立します。しかし、今日の大規模エージェントRLシステムでは、学習パラダイムは変化しました。

• ロールアウトと学習は物理的に分離されている
• ロールアウトキューが複数のバージョンにまたがる可能性がある
• 一つの軌跡が部分ロールアウトであり、複数のパラメータバージョンにまたがることさえある
• アクター更新時に、以前のバージョンの学習側ロジットが復元不可能になっている場合がある

このため、本来自然な分解が意味的な前提を失います。

• r_d：学習・推論不一致の修復
• r_s：方針陳腐化の修復

表面上はまだ分離補正を行っているように見えますが、実際には、使用している参照方針はもはや「真の旧方針」ではありません。これが一つの重要な疑問を提起します。

もし参照方針自体が既にずれているならば、それに基づいて作成された不一致マスクやPPOクリッピングは、一体何を制約しているのでしょうか？

統一的な視点：オフポリシー補正には二種類の異なる制約が存在する

本稿の核心的な視点の一つは、既存のPPOスタイルのオフポリシー補正は、統一的な視点で理解できるということです。それらはいずれも二つのものを制約しようと試みていますが、これら二つのものの意味は異なります。

第一は「不一致制約（Discrepancy constraint）」です。これはロールアウト側の分布と学習側の分布がどれほど異なるかに注目し、学習と推論の不一致に起因して「数値的に信頼できない」トークンをフィルタリングするために用いられます。直感的には、この種の制約はアドバンテージの正負とは無関係であるため、1を中心として対称的であるべきです。

第二は「陳腐化制約（Staleness constraint）」です。これは現在の方針と過去の挙動方針との間の距離に注目し、PPOの意味における信頼領域制約を実装するために用いられ、そのため本来的にアドバンテージの符号に敏感なクリッピング構造を伴います。

言い換えれば、これら二種類の制約はいずれも比率に記述されますが、本質的には同じではありません。一方は「学習/推論のずれ」を修復するものであり、もう一方は「方針更新の幅」を制御するものです。それらは同一の代理比率として混同され解釈されるべきではありません。

重要な結論：不一致修復は陳腐化補正の代わりにはならない

一部のアプローチでは、学習と推論の不一致を適切に制御すれば、多くのオフポリシー問題もついでに緩和できると考えられがちです。しかし、我々の分析は、この考えが成立しないことを示しています。

その理由は、不一致マスクは通常対称的であるのに対し、PPOクリッピングは通常アドバンテージの符号に関連する非対称な制約であることにあります。たとえ両者が数値的に「異常な比率のフィルタリング」のように見えても、それらは同種の制約ではなく、相互に代替することはできません。

さらに悪いことに、旧ロジットが欠落すると、何らかの代理方針を使用せざるを得なくなり、これら二つの異なる目標を同時にこの代理に押し付けることになります。最終的に得られるのは、よりクリーンな補正ではなく、二つのメカニズムが相互に干渉する状態です。マスクはクリップの有効な作業区間を変え、クリップもまた保持されるトークンの分布に影響を与えます。

したがって、この観点から言えば、非同期エージェントRLの真の問題は「オフポリシー補正が十分に強力でない」ことではなく、次の点にあります。

補正を行う際に、使用している参照方針の意味がもはやクリーンではない、ということです。

どのようにして旧ロジットを正確に復元するか？三つのシステム経路

問題の根源が旧ロジットの喪失にあるならば、それを取り戻そうと考えるのは自然な発想です。我々は本稿で三つの実行可能な経路を議論しています。

スナップショットベースのバージョン追跡（Snapshot-based version tracking）は、最も直接的な方法です。過去のパラメータのスナップショットを保存し、学習時に対応するバージョンを再ロードして、軌跡生成時の学習側旧ロジットを明示的に復元します。

この手法は意味的に最もクリーンで、理想状態に最も近いものです。しかし、追加のCPU/ホストメモリを必要とし、頻繁なバージョン切り替えを引き起こします。部分ロールアウトのシナリオでは、一つのサンプルが複数のバージョンにまたがる可能性があり、I/Oとスケジューリングのオーバーヘッドをさらに増大させます。

専用旧ロジットモデル（Dedicated old-logit model）は第二の道です。旧ロジット計算用のモデルを別途保持し、主アクターが学習を続けられるようにしつつ、旧ロジット計算を独立させます。これは学習段階とある程度のオーバーラップが可能であり、主学習経路へのブロッキングを減らせますが、追加のモデルリソースとより複雑なリソース配分が必要です。

部分ロールアウト中断による同期（Synchronization via partial rollout interruption）は第三の道です。あるバージョンが実際に消失する前に、一時的にロールアウトを中断し、部分軌跡を回収し、現在も常駐している古いバージョンを使用して正確なロジットを補完計算します。この手法は過去の重みの長期的な保存を回避しますが、同期的なストールを引き起こし、ロールアウトの並列性を破壊し、リソース切り替えとスケジューリングの外乱をもたらします。

これら三つの手法はいずれも問題をより正確に解決できますが、それらは同一の事実を指し示しています。正確な旧ロジット復元は実現可能ですが、システムコストは決して低くありません。

低コスト近似：なぜ我々は改訂版PPO-EWMAを選ぶのか？

正確な復元が高コストであるならば、より現実的な問いは次のようになります。真の旧方針と同一ではないものの、少なくとも既存の代理よりは合理的な近似参照方針を見つけることができるだろうか？

我々の答えは、PPO-EWMAの使用です。

ここでの核心的な考え方は、「旧ロジットを復元したふりをする」ことではなく、より平滑で、かつ非同期バージョンウィンドウの中心により近い参照方針pi_proxを構築し、それに陳腐化補正と不一致修復の両方の参照を同時に担わせることです。

単純なLinear_proxと比較して、我々は特に二つの点を強調します。

第一に、陳腐化ウィンドウに応じたEWMA減衰係数の選択です。我々は非常に大きな経験的な減衰を固定的に用いるのではなく、beta_proxをシステム内の実際の非同期ウィンドウ長と整合させることで、この代理方針をロールアウトデータが存在するバージョン区間の「中間位置」により近づけます。

第二に、自動リセット機構の追加です。EWMAは平滑ですが、蓄積されすぎて古くなりすぎる可能性もあります。過去のバージョンが過剰に蓄積されると、pi_prox / mu_oldのずれはますます大きくなり、Train-Infer Maskの大幅な劣化を引き起こし、最終的に学習を破綻させます。

そこで我々は、Train-Infer Maskによって保持されているトークンの割合を継続的に監視し、この割合が閾値を下回った場合、EWMA参照を直接現在のアクターにリセットします。

この設計の本質は、平時はEWMAに、より平滑な参照を提供させ、ひとたび参照があまりにも遠くへ漂流したならば、適時に重心を戻すことにあります。これによりPPO-EWMAは、低コストという利点を保ちつつ、代理参照の長期的な歪みを回避します。

実験設定：我々はこの問題をどのように検証したか？

我々は、二種類の代表的なバックボーンモデルで実験を行いました。

• Denseモデル：Qwen3-4B
• MoEモデル：Qwen3-30B-A3B

評価タスクは複数のエージェントベンチマークをカバーしており、tau^2-Benchのretail、airline、telecom、そしてVitaBenchのin-store、deliveryが含まれます。

同時に、非同期学習における最大バージョン間隔を明示的に制御することで、旧ロジット欠落がどのような問題を引き起こすか、そして正確な復元と近似参照の差が実際にどの程度かを、より集中的に観察できるようにしました。

比較した主な手法は、Decoupled PPO、Linear_prox、PPO-EWMA、および理想的な正確旧ロジット復元手法であるSnapshotです。

主な結果：PPO-EWMAは性能とコストの間でよりバランスが取れている

全体的な実験結果は非常に明確です。

Qwen3-4Bにおいて、PPO-EWMAは複数の指標でDecoupled PPOおよびLinear_proxを安定して上回りました。retailでは最良のpass@4を達成し、VitaBench in-storeでは最良のpass@2、telecomでは同率最適を達成しました。

Qwen3-30B-A3Bにおいても、PPO-EWMAは依然として優位性を保っています。airline splitで最も強力であり、retail pass@4で最適、telecom avg@2とpass@2でも実用的な手法の中で最適です。

さらに重要なのは、多くのタスクで理想的なSnapshotの効果に迫り始めていることです。これは次のことを示しています。

たとえ真の旧ロジットを取得できなくとも、参照方針がより合理的に構築されていれば、分離補正の恩恵の大部分を依然として回復できるのです。

以下の表は、Dense Qwen3-4BとMoE Qwen3-30B-A3Bにおける主な結果をまとめたものです。Snapshot*は理想的な正確旧ロジット復元を示し、太字は同一バックボーンにおける実用的な手法の中での最良の結果を示します。

非常に興味深い結果：正確な旧ロジットは確かに優れているが、実際には高価である

我々はまた、システムオーバーヘッドを特別に測定しましたが、その結果も非常に示唆的でした。

Snapshotについては、補正が最も正確である一方、システムコストは顕著に増加します。4BモデルのCPUストレージは約40 GB、30B MoEモデルのCPUストレージは約76.4 GBで、追加の時間オーバーヘッドはそれぞれ約25秒と150秒です。

対照的に、PPO-EWMAのリソースコストははるかに軽量です。4Bで約7.9 GB、30Bで約15.2 GB、追加時間はそれぞれ約8秒と34秒です。

つまり、Snapshotはむしろ「理想的な上限」および分析ツールであり、大規模な本番環境へのデプロイに最適なデフォルトの手法ではありません。

以下の表は、正確な旧ロジット復元とPPO-EWMAのシステムコストの違いを示しています。Snapshotは意味的にクリーンですが、ストレージと復元時間が著しく高く、PPO-EWMAはより現実的な性能とコストのトレードオフを提供します。

専用旧ロジットモデルのリソース分割の結果は以下の通りです。

旧ロジットモデルを個別に保持することで計算を部分的にオーバーラップさせることは可能ですが、その利益はリソース分割比に大きく依存し、それ自体がより多くのシステムサポートを必要とするため、必ずしも常に割に合うとは限りません。これが、我々が最終的にPPO-EWMAの実用的価値をより強調する理由でもあります。

閾値分析：なぜマスクとクリップは相互に影響するのか？

Snapshotによって復元された正確な旧ロジットを用いて、我々は不一致閾値と陳腐化方針閾値の相互作用をさらに分析しました。

実験によれば、より緩やかな不一致閾値はより多くのトークンを保持し、前期の学習は速くなりますが、それはまた偏差のより大きなオフポリシートークンをより多く取り込み、後期に不安定になりやすくなります。より厳格な閾値は前期の学習は遅いものの、保持トークンの動態はより安定しています。

同時に、マスクとクリップは互いに独立した二つのスイッチではありません。同じ不一致閾値の下では、より緩やかな陳腐化方針閾値は、より多くの問題のあるトークンを早期に生存させ、これが逆にTrain-Infer Maskを押し下げます。後期にクリップが強くなると、残りの更新を抑制し、マスクを回復させます。

これはさらに、参照方針が不正確な場合、マスクとクリップの結合はより複雑になることを示しています。

PPO-EWMAのアブレーション研究：なぜ自動リセットが重要なのか？

我々はまた、PPO-EWMAの学習動態を特に分析し、三つのシグナルに注目しました。タスク成功率、Train-Infer Mask、そしてPPO-CLIP比率です。

結果は、EWMAのみを使用してリセットを行わない場合、代理参照が徐々に漂流しすぎて、最終的にTrain-Infer Maskが崩壊する可能性があることを示しています。

自動リセットを導入した後は、少数のリセットイベントのみで参照を妥当な領域に引き戻すことができ、同時に前期のEWMAがもたらした最適化の利益も保持できます。

この結果は我々の直感と非常によく合致します。純粋な現在の方針だけでは安定せず、純粋な履歴平滑だけでは古くなりすぎる可能性があり、合理的な方法は二者択一ではなく、「普段は平滑化し、古くなりすぎたらリセットする」ことです。

本研究の核心的視点

この研究を一言で要約するならば、次のようになります。

非同期エージェントRLにおいて、真に見落とされている問題はオフポリシー補正そのものではなく、あなたが補正を行う際に依存している旧ロジットの意味が既に歪んでいる、という点です。

この問題を巡り、我々は三つのことを行いました。

1. 学習・推論不一致補正と方針陳腐化補正を明確に区別する、統一的な視点を提供しました。

2. 非同期システムにおける旧ロジット欠落問題が、この分解を破壊することを指摘しました。

3. 正確な復元と低コスト近似の二つの方向から、より体系的な解決策を提示しました。

まとめと将来の展望

本稿は、非同期エージェントRLにおける非常に低レベルながらも重要な問題である、旧ロジットの欠落に焦点を当てました。

我々の分析は、この問題が分離されたオフポリシー補正の意味的基盤を直接的に破壊することを示しています。これに基づき、我々は一方で旧ロジットを正確に復元する三つのシステム経路を議論し、もう一方で実際の大規模学習により適した改訂版PPO-EWMA手法を提案しました。

実験結果が示すのは、正確な旧ロジット復元が補正の忠実度を確かに向上させる一方、性能とコストのトレードオフから見れば、PPO-EWMAがより現実的で実装しやすい手法であるということです。

将来に向けては、より極端な非同期ウィンドウにおける参照方針の構築、より複雑な部分ロールアウトシナリオにおけるトークンレベルのバージョン整合、MoEルーティングのリプレイと旧ロジット補正の共同モデリング、そして実際の産業用学習スタックを対象としたより軽量な旧ロジットインフラストラクチャなど、引き続き追求すべき多くの方向性があります。

非同期LLM RL、エージェントRL、MoE RL、またはオフポリシー補正に関心をお持ちでしたら、ぜひ交流しましょう。