潜在世界モデル（Latent world models）は、ロボットが行動する前に未来を推論し、それに基づいて動作を計画することを可能にします。2022年、チューリング賞受賞者のヤン・ルカン氏のチームは合同埋め込み予測アーキテクチャ（JEPA）を提案し、潜在空間における未来の状態遷移の予測を通じて、表現空間予測を世界モデル研究における重要なパラダイムへと押し上げました。
しかし、問題があります。多くの世界モデルは、訓練が完了するとパラメータが更新されなくなり、現実のシナリオにおける変化する視覚条件や物理的特性にタイムリーに適応することが困難です。エンコーダや予測器の精度が一旦狂うと、誤差がその後の計画プロセスで徐々に増幅され、最終的にタスクの失敗を招きます。
一方、人間は異なります。感覚運動適応メカニズムは、私たちが環境の変化に適応するための中核となる能力です。私たち人は感覚フィードバックに基づいて動作予測を較正し、新しい経験に基づいて環境への理解を絶えず調整しています。
この生物学的原理に着想を得て、ヤン・ルカン氏のチームは、デプロイメント（展開）中に継続的な学習が可能な自己適応型の潜在世界モデル「AdaJEPA」を提案しました。適応プロセスをモデル予測制御（MPC）のクローズドループに組み込んでいます。つまり、1つの動作を実行するごとに、実際に観測された状態遷移を用いてモデルを較正し、更新されたモデルで再計画を行います。
論文リンク：https://arxiv.org/abs/2606.32026
結果によると、AdaJEPAはIn-distribution（分布内）タスクおよび多様なOut-of-distribution（分布外）条件下において、計画成功率を安定して向上させました。再計画の前に1回の軽量な更新を行うだけであっても、訓練後にパラメータが更新されない従来の世界モデルを全体的に上回る結果となりました。
この研究は、適応型世界モデルにとって有望な方向性を切り開くものです。それは、世界モデルは行動の過程で真のフィードバックに基づいて予測を継続的に較正し、表現を更新することで、変化する環境により良く適応できるべきである、というものです。
AdaJEPA：「適応力」を理解する世界モデル
AdaJEPAは、ロボットがタスクを実行する過程で予測を継続的に修正できる自己適応型の潜在世界モデルです。1ステップの動作を完了するたびに、モデルは新しい実際の観測を利用して偏差を較正し、それに基づいて再計画を行います。整個のプロセスに追加のオフラインデータ、報酬ラベル、エキスパートのデモンストレーションは不要です。全体のフローは計画・実行・較正・再計画という4つのステップに要約されます。具体的には以下の通りです：
図｜AdaJEPAがクローズドループMPC内でテスト時適応を実行する様子。
- 計画：モデルが内部で次の数ステップの状態変化を推演し、複数の候補案を比較し、目標に最も近づきそうな動作シーケンスを選択します。
- 実行：計画完了後、モデルは最初の1つの動作、またはごく一部の動作のみを実行し、環境からの実際のフィードバックを観測します。実行前の状態変化は記録され、その後の適応学習の学習サンプルとして使用されます。
- 適応：動作実行後、AdaJEPAはこのステップで発生した状態遷移をオンラインバッファに書き込み、それを用いてモデルの予測が正確かどうかを検証します。予測された次の状態と実際の結果に偏差がある場合、モデルはこのエラーを更新信号として軽量な較正を1回行い、次の計画ラウンドの準備とします。
- 再計画：適応完了後、モデルは最新の観測から出発し、更新された世界モデルを用いて後続の軌跡を再予測し、新しい動作シーケンスを生成します。タスク全体の過程で、「計画 - 実行 - 適応 - 再計画」のサイクルが繰り返し行われ、各ラウンドの計画が最新の観測と最新のモデルに基づいて構築されます。
また、リアルタイム計画の遅延を防ぐため、AdaJEPAは軽量な更新のみを行います。具体的には、少数のパラメータを調整し、小型のオンラインバッファを維持し、事前訓練段階の目的関数をそのまま使用します。詳細は以下の通りです：
- キーレイヤーのみ更新：AdaJEPAは世界モデル全体を更新するのではなく、エンコーダと予測器内の少量のキーレイヤーのみを調整します。これにより計算コストを削減しつつ、既存の表現への擾乱も減らすことが可能です。
- 小型のオンラインバッファを維持：バッファにはデフォルトで直近の5件の実際の状態遷移が保存されます。研究チームはrecent-N（直近の遷移を保持）とhard-N（予測誤差が最大の遷移を保持）という2つの保持方法を比較しました。結果として両者に大きな差は見られませんでしたが、recent-Nの方がやや安定していました。
- 事前訓練段階の目的関数を踏襲：適応段階でも事前訓練と同じ予測目標を維持し、実際の観測に対応する表現を教師信号として使用します。既存の表現への擾乱を減らすため、この目標表現はあくまで参照として用いられ、勾配の逆伝播には参与しません。
パフォーマンスはどうか？
全体を見ると、AdaJEPAは分布内タスクおよび多様な分布外条件下において計画成功率を安定して向上させました。研究チームは物体押しタスク PushT / PushObj と迷路ナビゲーションタスク PointMaze においてモデルを評価し、形状、視覚、動力学、レイアウトといった変化シナリオを網羅しています。再計画前に行う更新が1回の軽量更新であっても、AdaJEPAは依然として訓練後にパラメータが固定された世界モデルを全体的に上回りました。具体的な結果は以下の通りです：
1. 分布内タスク
結果は、AdaJEPAのテスト時適応が既存の能力を損なうことなく、タスク成功率をさらに向上できることを示しています。GDによる直接的な動作シーケンスの最適化であれ、CEMによる候補動作のサンプリングと絞り込み探索であれ、AdaJEPAの成功率はテスト時適応を行わないベースラインを上回りました。最も顕著な向上が見られたのは物体押しタスクであり、最高成功率は20%以上も向上しました。迷路ナビゲーションタスクでは、元のモデル自体がすでに強いパフォーマンスを示しており、AdaJEPAはそれと同等の水準を維持し、明らかな性能低下は見られませんでした。
図｜PointMazeにおける動力学的変化およびレイアウト変化条件下での計画成功率。
2. 分布外タスク
環境の変化がより顕著なタスクでは、AdaJEPAの優位性がさらに際立ちました。各ラウンドの計画と実行後に新たな実際のフィードバックを用いて世界モデルを更新することで、その後の計画を現在の環境により近づけ、タスク成功率を向上させます。対照的に、訓練後に更新されないモデルはこれらの新しい観測を活用できず、成功率はすぐに上限に達してしまう傾向にあります。
図｜形状変化および視覚変化条件下での計画成功率。
具体的に見ると、複数形状の物体押しタスクにおいて、テスト時に訓練段階で未見の物体形状が現れた場合、AdaJEPAの向上が最も顕著となり、成功率はほぼ倍増しました。視覚的擾乱においては、ぼかし、ノイズ、暗い照明によるゲインがより顕著でした。アンカーポイントや物体の色の変更のみの場合、AdaJEPAの優位性は比較的限定的でした。PointMaze迷路ナビゲーションでは、AdaJEPAは動力学的変化や新しい迷路レイアウトにも適応でき、新しいレイアウト下では最短経路により近い軌跡を計画しました。
図｜多様な迷路における計画軌跡。
図｜PointMaze-Mediumにおける動力学的変化条件下での計画軌跡。
3. 様々なJEPA実装におけるAdaJEPAの向上効果
AdaJEPAが特定のモデル実装に依存していないかを検証するため、研究チームはPushT物体押しタスクにおいて、表現形式、モデルアーキテクチャ、訓練目標、プランナをそれぞれ変更してテストを行いました。結果として、AdaJEPAはこれらの設定のいずれにおいても計画成功率を向上させることが示されました。ベースラインモデルが十分に訓練され、評価が分布内であっても、テスト時適応は依然として安定したゲインをもたらし、再計画ごとに追加される遅延はわずか約0.01〜0.03秒にとどまりました。
図｜異なる実装下でのAdaJEPAのパフォーマンス。
4. AdaJEPAは新しい世界をゼロから学ぶのではなく、既存の予測を較正している
可視化結果から、AdaJEPAの適応は再学習というよりも較正に近いことが示されています。研究チームが適応後の予測軌跡をデコードした結果、視覚的擾乱や未見の形状に遭遇した場合でも、デコード結果は依然として訓練分布の構造的特徴を保持する傾向があることがわかりました。例えば、赤いブロックは訓練中によく見られたグレーのブロックにデコードされ、未見の形状も類似する既見の形状にデコードされる傾向がありました。
図｜視覚変化および形状変化条件下でのAdaJEPAの計画軌跡の例。
5. 消融実験と分析
消融実験の結果から、AdaJEPAは広範囲な更新を必要とせず、複雑なハイパーパラメータ調整にも依存しないことが明らかになりました。少量のキーレイヤーの更新、1ステップの勾配更新、および直近の状態遷移バッファのみで、すでに安定した恩恵が得られます。
第一に、AdaJEPAはエンコーダまたは予測器の一部のレイヤーのみを更新するか、LoRAを用いて軽量な更新を行う場合であっても、全体的なパフォーマンスはテスト時適応を行わないベースラインを上回り、モデル全体を再訓練する必要がないことが示されています。
第二に、異なる分布のシフトに対して更新場所のニーズが異なります。形状変化では、各更新方案の差はあまりなく、主に予測器を調整するだけで済みます。視覚やレイアウトの変化では、予測器のみを更新する効果は限定的であり、エンコーダも参加する必要があります。レイアウトの変化においては、予測器の第1層を更新するのが最も効果的でした。これは、第1層が潜在状態とアクション情報を最も早く統合するため、新しい局所的な遷移関係をより早く較正できるからかもしれません。
さらに、デフォルトのハイパーパラメータで十分に安定しています。ハイパーパラメータの設定において、AdaJEPAはデフォルトで訓練段階の学習率を踏襲し、再計画の前に勾配更新を1ステップだけ行い、直近の状態遷移をバッファとして保持します。より大きな学習率やより多くの更新ステップ数は適応効果を高める可能性がありますが、同時に不稳定性と計算コストも増加させます。全体として、デフォルト設定は効果、安定性、およびレイテンシの間で良好なバランスを取ることができています。
図｜適応ハイパーパラメータと再生バッファが計画成功率に与える影響。
6. 訓練データ規模と形状の多様性がAdaJEPAに与える影響
実験結果は、AdaJEPAの効果は訓練データの量だけでなく、訓練データが十分に多様であるかどうかに依存することを示しています。PushObj複数形状物体押しタスクにおいては、同一形状の軌跡を単に重ねるよりも、形状の多様性の方が汎化において重要です。同時に、テスト時適応はデータが不足している場合に汎化ギャップの一部を補うことができます。
具体的に見ると、総軌跡数が同じ場合、データをより多くの物体形状に割り当てる方が、単一形状に集中するよりも未見形状への汎化に有利です。例えば、総軌跡数が同じ16kの場合、4つの形状をカバーしたAdaJEPAの未見形状での成功率は51.9%であり、単一形状のみをカバーした場合の45.8%を上回りました。
さらに、AdaJEPAは異なるデータ規模において成功率を向上でき、特に低データのシナリオでゲインが顕著です。訓練段階でカバーする形状や軌跡が少なくても、モデルはデプロイメント中に新たな観測を用いて予測を較正できます。例えば既見形状において、1つの形状、1kの軌跡のみで訓練したAdaJEPAの成功率は60.8%に達し、4つの形状、合計64kの軌跡で訓練したもののテスト時に更新を行わないモデルを上回りました。
図｜訓練データ規模がPushObjの計画成功率に与える影響：形状の多様性（K）と各形状あたりの軌跡数。
限界と今後の方向性
AdaJEPAは多種多様な計画タスクにおいて安定したゲインをもたらしたものの、以下のような限界が依然として存在します：
AdaJEPAは計画中に軽量な較正を行うのみであるため、その有効性は依然として事前訓練された表現の適用範囲に制限されます。テスト環境に訓練段階でカバーされていない重要な特徴が現れた場合、適応によって計画結果をある程度改善することはできるものの、この表現のギャップを完全に埋めることは依然として困難です。将来的には、軽量なテスト時適応は継続的学習や能動学習と組み合わせる必要があり、世界モデルが長期のデプロイメントにおいて新たな経験を継続的に蓄積し、環境変化に対する適用範囲を段階的に拡大できるようにする必要があります。
より詳細な技術内容については、元論文をご参照ください。
著者：夏千斯
転載や投稿をご希望の場合は、この記事のコメント欄に直接メッセージをご残しください。