本文的第一作者為北京大學王選電腦研究所博士生鄭明航，通訊作者為助理教授劉洋。團隊近年來在 TPAMI、CVPR、ICCV、ICML 等頂尖會議上有多項代表性成果發表，並和國內外知名高校、科研機構廣泛開展合作。
本文主要介紹該團隊和華為中央媒體技術院在多模態影片理解與時序定位領域的最新研究成果。
該工作針對現有基於強化學習的影片大模型在推理過程中往往產生膚淺推理，且無法為精確的時序定位提供有效指導的問題，提出了全新的時序感知推理優化（Temporal-Aware Reasoning Optimization，TaRO）訓練框架。該方法顯式地增強了模型帶著時間思考的能力，在多個公開基準上取得了最先進的零樣本（Zero-shot）性能。目前相關程式碼已開源。
論文標題：Temporal-Aware Reasoning Optimization for Video Temporal Grounding
背景與動機
影片時序定位（Video Temporal Grounding, VTG）旨在根據自然語言查詢，在未剪輯的影片中精準定位對應事件的起止時間段。近期，多模態大語言模型（MLLMs）結合強化學習（RL）在生成引導時序定位的推理路徑方面展現出了巨大潛力。然而，現有的強化學習方法生成的推理往往是膚淺的描述，未能識別出回答所需的特定影片證據。
如圖 1（a）所示，本文對現有模型分別在帶推理路徑和直接輸出答案（無推理）兩種設定下進行訓練和推理，發現兩者的性能幾乎沒有差異。這一現象證明了儘管現有模型被訓練進行推理，但這些生成的膚淺推理對最終的定位預測幾乎沒有實質性貢獻。本文分析了其背後的兩大原因：
低效的隨機探索機制。現有的強化學習範式在探索龐大的影片推理空間時缺乏有效指導，盲目的隨機展開（random rollout）導致模型主要探索低品質的軌跡，進而產生次優且膚淺的推理。
忽視推理品質的獎勵設計。當前的獎勵函數主要關注最終答案的正確性（如計算 IoU），而完全忽略了推理過程本身的品質。這使得那些並不真正依賴視覺時序證據的推理路徑也可能被強化，導致模型依賴虛假相關性。
圖 1：背景與動機
技術方案
為了克服上述挑戰，本文提出了時序感知推理優化（TaRO）框架，旨在訓練多模態大模型顯式帶著時間進行思考。如圖 2 所示，TaRO 框架包含三個元件：
模板化推理探索（Constructive Reasoning Exploration）：為了提供高品質的初始指導，打破低效的隨機探索，本文利用預先生成的帶有明確時間戳的密集影片字幕來建構推理軌跡。透過按時間順序拼接取樣後的字幕，模型可以學習到哪些視覺線索對定位至關重要，哪些是干擾項，從而避免了盲目摸索。
時序敏感度獎勵（Temporal-Sensitivity Reward）：為了評估推理品質並確保其嚴格錨定在正確的視覺片段上，本文設計了一種實例級的推理路徑獎勵機制。核心思想是：高品質的推理應該錨定在特定的事件和時間戳上，如果擾亂了真實事件邊界附近的影格，這種推理應當失效，導致推理路徑的概率（logit）下降。TaRO 利用這種概率下降作為獎勵信號，強制模型生成與關鍵時間戳緊密耦合的推理。
漸進式課程學習（Progressive Curriculum）：TaRO 框架遵循漸進式的學習策略。在預熱階段，模型利用模板化探索資料進行學習，掌握如何關注視覺線索並建立帶著時間思考的範式。隨後，模型過渡到自由探索階段，在時序敏感度獎勵的引導下，自主生成並完善其推理策略。
圖 2：時序感知推理優化（TaRO）框架
實驗結果
零樣本影片時序定位性能：如表 1 所示，採用 TaRO 框架訓練的影片大模型在 Charades-STA、ActivityNet Captions、QVHighlights 和 TVGBench 四個公開基準測試上，全面超越了現有的最先進方法。例如，使用 Qwen2.5-VL-7B-Instruct 作為基座模型時，TaRO 在 TVGBench 上的 R1@0.5 指標領先基線模型達 8.4%。
此外，TaRO 在較小的 Qwen2.5-VL-3B 模型和更新的 Qwen3-VL-8B 架構上也展現出了一致的性能提升，證明了該方法的通用性。
表 1：零樣本影片時序定位性能比較
長影片場景下的擴展能力：為了進一步驗證 TaRO 在長影片上的表現，本文在兩大長影片資料集上進行了零樣本評測，包括 TACOS（平均長度 367 秒）和 Ego4D NLQ（平均長度 499 秒）資料集。如表 2 所示，在使用相同底座模型的情況下，採用 TaRO 框架訓練的影片大模型依然保持了優秀的性能，大幅領先現有基線方法。特別是在 Qwen3-VL-8B 架構上，TaRO 帶來了更明顯的提升，例如在 TACOS 上 R1@0.3 提升了 13.7%，在 Ego4D NLQ 上 R1@0.3 提升了 8.7%。這證明了基於時序感知的強化學習優化在面对長影片時的有效性和魯棒性。
表 2：長影片時序定位性能比較
消融實驗：表 3 驗證 TaRO 各核心設計的有效性。首先在純隨機探索的基線模型上，單獨加入時序敏感度獎勵（TR）使得 R1@0.5 從 61.1% 提升至 63.1%（第 1，2 行），證明了時序敏感獎勵的有效性。而如果僅在訓練中讓模型完全模仿外部構造的推理路徑（CRE）而不進行後續的自由探索階段（PC），模型的定位性能會出現嚴重下滑（第 3，4 行）。這是因為測試階段無法依賴外部字幕輸入，模型必須內化自己的推理策略。而引入漸進式課程學習（PC）則彌補了這一鴻溝，並實現了最優性能（第 5，6 行）。
表 3：消融實驗
視覺化結果：圖 3 的視覺化展示了 TaRO 在應對複雜多模態場景時的表現。影片開頭出現了一個強干擾項（女子用手擦臉），其視覺動態與文字查詢（用刷子擦臉）高度相似。TaRO 透過生成細粒度的中間時序推理，精準錨定了 19.0s 至 37.0s 的關鍵動作，並剔除了後續的無關片段，最終給出了正確的時序預測。
圖 3：視覺化對比
總結
針對影片時序定位中多模態大模型推理流於表面、缺乏真正時間感知的問題，本文推出了 TaRO 框架。透過引入模板化推理探索機制來高效引導模型帶著時間思考，並利用時序敏感度獎勵來量化推理品質，TaRO 成功提升了多模態大模型的時序推理能力。大量實驗證明，該框架不僅顯著提升了模型推理的魯棒性與可解釋性，更在多個公開基準上取得了最佳的影片時序定位性能。