潛在世界模型能讓機器人在實際行動前，先在內部推演未來的各種可能性，再根據推演結果來規劃動作。2022 年，圖靈獎得主楊立昆（Yann LeCun）團隊提出了聯合嵌入預測架構（JEPA），透過在潛在空間中預測未來狀態的演化，推動了「表徵空間預測」成為世界模型研究中的重要典範。
問題在於，現今多數的世界模型在訓練完成後，參數便不再更新，這使得它們難以及時適應真實場景中不斷變動的視覺條件與物理屬性。一旦編碼器或預測器出現失準，誤差便會在後續的規劃過程中逐步放大，最終導致任務失敗。
然而，我們人類卻大不相同。「感覺運動自適應機制」正是我們適應環境變化的核心能力。我們會根據感官回饋來校準動作預測，也會根據新經驗不斷調整對周遭環境的理解。
受到這個生物學原理的啟發，楊立昆團隊提出了一種能在實際部署過程中持續學習的自適應潛在世界模型「AdaJEPA」。該模型將自適應機制嵌入至模型預測控制（MPC）的封閉迴圈中：機器人每執行一個動作，系統就會利用實際觀測到的狀態轉移來校正模型，接著再用更新後的模型重新進行規劃。
論文連結：https://arxiv.org/abs/2606.32026
研究結果顯示，AdaJEPA 無論是在分佈內任務還是多種分佈偏移的情境下，都能穩定提升規劃的成功率。即使每次重新規劃前只進行一次輕量級的模型更新，其整體表現也普遍優於那些訓練後參數即凍結不再更新的世界模型。
這項研究為自適應世界模型開啟了一個極具潛力的發展方向：世界模型應該在實際行動的過程中，持續根據真實回饋來校準預測並更新表徵，從而更完善地適應不斷變動的環境。
AdaJEPA：一個懂「自適應」的世界模型
AdaJEPA 是一種自適應潛在世界模型，能夠在機器人執行任務的過程中持續修正預測結果。每完成一步動作，模型就會利用最新的真實觀測來校正偏差，並據此重新規劃。整個過程不需要額外的離線資料、獎勵標籤或專家示範。其運作流程可概括為四個步驟：規劃、執行、校正和重新規劃。具體說明如下：
圖｜AdaJEPA 在封閉迴圈 MPC 中執行測試時自適應。
規劃：模型會在內部推演接下來幾步的狀態變化，比較多組候選方案，從中選出最有可能靠近目標的動作序列。
執行：規劃完成後，模型只會執行第一個動作或一小段動作，然後觀測環境的真實回饋。執行前的狀態變化會被記錄下來，作為後續自適應的學習樣本。
自適應：動作執行後，AdaJEPA 會將這一步產生的狀態轉移寫入線上緩衝區，並用它來檢驗模型預測是否準確。如果預測的下一狀態與真實結果存在偏差，模型就會把這部分誤差作為更新訊號，進行一次輕量級的校正，為下一輪規劃做好準備。
重新規劃：完成自適應後，模型會從最新的觀測狀態出發，利用更新後的世界模型重新預測後續軌跡，並生成新的動作序列。在整個任務過程中，「規劃-執行-自適應-重新規劃」的循環會不斷重複，確保每一輪規劃都建立在最新觀測與最新模型的基礎之上。
此外，為了避免拖慢即時規劃的效率，AdaJEPA 僅進行輕量級的更新：僅調整少量參數、維護小型的線上緩衝區，並沿用預訓練階段的目標函數。具體做法如下：
只更新關鍵層：AdaJEPA 並非更新整個世界模型，而是僅調整編碼器和預測器中的少量關鍵層。這樣做既能降低運算開銷，也能減少對既有表徵的干擾。
維護小型線上緩衝區：緩衝區預設保存最近 5 條真實狀態轉移。研究團隊比較了兩種資料保留方式：recent-N 保留最近的轉移，hard-N 則保留預測誤差最大的轉移。結果顯示，兩者差異不大，但 recent-N 的表現較為穩定。
沿用預訓練階段的目標函數：自適應階段保持與預訓練相同的預測目標，將真實觀測對應的表徵作為監督訊號。為了減少對既有表徵的破壞與擾動，目標表徵僅作為參照，不參與梯度回傳。
實際效果如何？
整體而言，AdaJEPA 在分佈內任務與多種分佈偏移的情境下，都能穩定提高規劃的成功率。研究團隊在推物體任務（PushT / PushObj）與迷宮導航任務（PointMaze）上對模型進行了評估，測試涵蓋了形狀、視覺、動力學與佈局等不同變化場景。即使每次重新規劃前只進行一次輕量級的更新，AdaJEPA 仍普遍優於那些訓練後參數即凍結的世界模型。具體結果如下：
1. 分佈內任務
結果顯示，AdaJEPA 在測試時的自適應機制並不會犧牲模型原有的能力，還能進一步提升任務的成功率。無論是使用 GD 直接優化動作序列，還是使用 CEM 透過取樣與篩選候選動作來進行搜索，AdaJEPA 的成功率都高於未進行測試時自適應的基準模型。提升幅度最為明顯的是推物體任務，最高成功率提升超過 20%；而在迷宮導航任務中，由於原始模型本身表現就已相當優異，AdaJEPA 仍能維持相近水準，沒有出現明顯退化。
圖｜PointMaze 在動力學變化與佈局變化條件下的規劃成功率。
2. 分佈外任務
在環境變化更為顯著的任務中，AdaJEPA 的優勢更加突出。它會在每輪規劃與執行後，利用新的真實回饋來更新世界模型，讓後續規劃更貼合當前環境，進而提升任務成功率。相比之下，訓練後即不再更新的模型無法利用這些新觀測，其成功率往往很快便會達到上限。
圖｜在形狀變化與視覺變化條件下的規劃成功率。
具體來看，在多形狀推物體任務中，如果測試時出現了訓練階段從未見過的物體形狀，AdaJEPA 的提升最為顯著，成功率幾乎翻倍；在視覺擾動方面，模糊、雜訊與光線過暗所帶來的效益更為明顯；若僅是改變錨點或物體顏色，AdaJEPA 的優勢則相對有限。在 PointMaze 迷宮導航中，AdaJEPA 還能適應動力學變化與全新迷宮佈局，並在新佈局下規劃出更接近最短路徑的軌跡。
圖｜多樣化迷宮中的規劃軌跡。
圖｜PointMaze-Medium 在動力學變化條件下的規劃軌跡。
3. AdaJEPA 在多種 JEPA 實作上均有提升
為驗證 AdaJEPA 是否依賴某一種特定的模型實作方式，研究團隊在 PushT 推物體任務上，分別更換了表徵形式、模型架構、訓練目標與規劃器進行測試。結果顯示，AdaJEPA 在這些不同的設定下都能提高規劃成功率；即使基準模型已經過充分訓練且評估仍處於分佈內，測試時自適應依然能帶來穩定的增益，而每次重新規劃僅增加約 0.01 至 0.03 秒的延遲。
圖｜不同實作方式下的 AdaJEPA 表現。
4. AdaJEPA 並非從零學習新世界，而是在校正既有預測
視覺化結果顯示，AdaJEPA 的自適應過程更像是「校準」，而非「重新學習」。研究團隊將自適應後的預測軌跡解碼後發現，即使遇到視覺擾動或未曾見過的形狀，解碼結果仍傾向保留訓練分佈中的結構特徵。例如，紅色方塊會被解碼成訓練中常見的灰色方塊，未見過的形狀也會被解碼成相近的已知形狀。
圖｜視覺變化與形狀變化條件下的 AdaJEPA 規劃軌跡範例。
5. 消融實驗與分析
消融實驗結果顯示，AdaJEPA 不需要進行大範圍的更新，也不依賴複雜的超參數調校；僅需少量關鍵層的更新、一步梯度更新以及保留近期狀態轉移的緩衝區，便已能帶來穩定的成效。
首先，當 AdaJEPA 僅更新編碼器或預測器的部分層，或是採用 LoRA 進行輕量級更新時，整體表現皆優於未進行測試時自適應的基準模型，這說明它並不需要重新訓練整個模型。
其次，不同的分佈偏移對更新位置的需求不盡相同。在形狀變化情境下，各種更新方案差異不大，主要調整預測器即可；但在視覺與佈局變化情境下，僅更新預測器效果有限，編碼器也需要一同參與。在佈局變化中，更新預測器的第一層效果最好，這可能是因為它最早融合了潛在狀態與動作資訊，更容易校正新的局部轉移關係。
此外，預設的超參數已經足夠穩定。在超參數設定上，AdaJEPA 預設沿用訓練階段的學習率，每次重新規劃前僅做一步梯度更新，並保留近期狀態轉移作為緩衝區。更大的學習率或更多的更新步數或許能增強適應效果，但同時也會增加不穩定性與運算開銷。總結來說，預設值已在效果、穩定性與延遲之間取得了良好的平衡。
圖｜適應超參數與回放緩衝區對規劃成功率的影響。
6. 訓練資料規模與形狀多樣性對 AdaJEPA 的影響
實驗結果表明，AdaJEPA 的效果不僅取決於訓練資料量，也取決於訓練資料是否具備足夠的多樣性。對 PushObj 多形狀推物體任務而言，形狀的多樣性比單純堆疊同一形狀的軌跡更為關鍵；同時，測試時自適應能夠在資料不足時彌補部分泛化的缺口。
具體來看，在總軌跡數相同的情況下，將資料分配到更多物體形狀上，會比集中在單一形狀上更有利於泛化至未見過的形狀。例如在總軌跡數同為 16k 時，涵蓋四種形狀的 AdaJEPA 在未見形狀上的成功率為 51.9%，高於僅涵蓋單一形狀時的 45.8%。
此外，AdaJEPA 在不同資料規模下都能提升成功率，在低資料的場景下收益尤其顯著。即使訓練階段只涵蓋較少的形狀與軌跡，模型仍能在部署過程中利用新觀測來校正預測。例如在已知形狀上，僅用 1 種形狀、1k 條軌跡訓練的 AdaJEPA，成功率达到 60.8%，高於使用 4 種形狀、總計 64k 條軌跡訓練但測試時不更新的模型。
圖｜訓練資料規模對 PushObj 規劃成功率的影響：形狀多樣性 (K) 與每種形狀的軌跡數量。
不足與未來方向
儘管 AdaJEPA 在多類規劃任務中都帶來了穩定增益，但仍存在以下不足：
由於 AdaJEPA 僅在規劃期間進行輕量級的修正，其有效性仍受到預訓練表徵覆蓋範圍的限制。當測試環境中出現訓練階段未涵蓋的關鍵特徵時，自適應機制雖然能在一定程度上改善規劃結果，但仍難以完全弭平這層表徵差距。未來，輕量級的測試時自適應還需要與持續學習、主動學習技術相結合，讓世界模型能夠在長期部署中不斷累積新經驗，逐步擴展對環境變化的覆蓋範圍。
更多技術細節，請詳見原論文。
作者：夏千斯
如需轉載或投稿，請直接在本文章評論區內留言