本論文の筆頭著者は北京大学王選コンピュータ研究所の博士課程学生である鄭明航氏、責任著者は劉洋准教授である。同チームは近年、TPAMI、CVPR、ICCV、ICMLなどのトップカンファレンス・ジャーナルで多数の代表的な成果を発表しており、国内外の著名な大学や研究機関と広く共同研究を行っている。
本稿では主に、同チームとHuawei中央メディア技術院によるマルチモーダル動画理解および時系列ローカライズ分野における最新の研究成果を紹介する。
本研究は、既存の強化学習に基づく動画大規模モデルが推論プロセスにおいて表面的な推論を生成しがちであり、正確な時系列ローカライズのための有効な指針を提供できない問題に対し、全新の時系列認識推論最適化（Temporal-Aware Reasoning Optimization、TaRO）トレーニングフレームワークを提案する。本手法は、モデルが「時間を意識して思考する」能力を明示的に強化し、複数の公開ベンチマークにおいて最先端のゼロショット性能を達成した。現在、関連コードはオープンソース化されている。
-
論文タイトル：Temporal-Aware Reasoning Optimization for Video Temporal Grounding
-
オープンソースコード：https://github.com/oceanflowlab/TaRO
背景と動機
動画の時系列ローカライズ（Video Temporal Grounding、VTG）は、自然言語のクエリに基づき、未編集の動画中から対応するイベントの開始・終了時刻を正確に特定することを目的とする。近年、マルチモーダル大規模言語モデル（MLLMs）と強化学習（RL）の組み合わせは、時系列ローカライズを導く推論パスの生成において大きな可能性を示している。しかし、既存の強化学習手法が生成する推論は表面的な記述に留まることが多く、回答に必要な特定の動画エビデンスを特定できていない。
図1（a）に示すように、本稿では既存モデルを「推論パスあり」と「直接回答（推論なし）」の2つの設定でそれぞれ訓練・推論させた結果、両者の性能にほとんど差がないことを発見した。この現象は、既存のモデルが推論を行うよう訓練されているものの、生成される表面的な推論が最終的なローカライズ予測に実質的な貢献をしていないことを示している。本稿ではその背後にある2つの主な原因を分析した：
-
非効率なランダム探索メカニズム。既存の強化学習パラダイムは、膨大な動画推論空間を探索する際に有効な指針を欠いており、盲目的なランダム展開（random rollout）によりモデルが主に低品質な軌道を探索してしまい、結果として次善の、表面的な推論を生成してしまう。
-
推論品質を無視した報酬設計。現在の報酬関数は主に最終回答の正確性（IoUの計算など）にのみ着目し、推論プロセス自体の品質を完全に無視している。そのため、視覚的時系列エビデンスに真に依存しない推論パスであっても強化される可能性があり、モデルが擬似相関に依存する原因となっている。
図 1：背景と動機
技術的アプローチ
上記の課題を克服するため、本稿ではマルチモーダル大規模モデルに明示的に「時間とともに思考する」ことを訓練することを目的とした、時系列認識推論最適化（TaRO）フレームワークを提案する。図2に示すように、TaROフレームワークは3つのコンポーネントで構成される：
-
テンプレート化推論探索（Constructive Reasoning Exploration）。高品質な初期指針を提供し、非効率なランダム探索を打破するため、本稿では事前に生成された明確なタイムスタンプ付きの高密度な動画キャプションを利用して推論軌道を構築する。時間順にサンプリングされたキャプションを結合することで、モデルはローカライズに重要な視覚的手がかりと干渉項目を区別して学習でき、盲目的な試行錯誤を回避できる。
-
時系列感度報酬（Temporal-Sensitivity Reward）。推論の品質を評価し、それが正しい視覚セグメントに厳密に固定的に結びついていることを保証するため、本稿ではインスタンスレベルの推論パス報酬メカニズムを設計した。核心的なアイデアは、高品質な推論は特定のイベントとタイムスタンプに固定されるべきであり、真のイベント境界付近のフレームを攪乱すればその推論は無効になり、推論パスの確率（logit）が低下するはずであるという点にある。TaROはこの確率低下を報酬シグナルとして利用し、モデルに主要なタイムスタンプと緊密に結合した推論を生成することを強制する。
-
漸進的カリキュラム学習（Progressive Curriculum）。TaROフレームワークは漸進的な学習戦略に従う。ウォームアップ段階では、モデルはテンプレート化された探索データを利用して学習し、視覚的手がかりに注目する方法と「時間とともに思考する」パラダイムを確立する方法を習得する。その後、モデルは自由探索段階へ移行し、時系列感度報酬の導きの下で自ら推論戦略を生成・洗練させていく。
図 2：時系列認識推論最適化（TaRO）フレームワーク
実験結果
ゼロショット動画時系列ローカライズ性能：表1に示すように、TaROフレームワークで訓練された動画大規模モデルは、Charades-STA、ActivityNet Captions、QVHighlightsおよびTVGBenchの4つの公開ベンチマークにおいて、既存の最先端手法を全面的に上回った。例えば、Qwen2.5-VL-7B-Instructをベースモデルとして使用した場合、TaROはTVGBenchのR1@0.5指標においてベースラインモデルを8.4%上回った。
さらに、TaROはより小さなQwen2.5-VL-3Bモデルや、より新しいQwen3-VL-8Bアーキテクチャにおいても一貫した性能向上を示し、本手法の汎用性を実証している。
表 1：ゼロショット動画時系列ローカライズ性能比較
長時間動画シーンでのスケーラビリティ：TaROの長時間動画におけるパフォーマンスをさらに検証するため、本稿ではTACOS（平均長367秒）とEgo4D NLQ（平均長499秒）データセットの2つの長時間動画データセットでゼロショット評価を行った。表2に示すように、同じベースモデルを使用した場合、TaROフレームワークで訓練された動画大規模モデルは依然として優秀な性能を維持し、既存のベースライン手法を大きくリードした。特にQwen3-VL-8Bアーキテクチャでは、TaROはより顕著な向上をもたらし、例えばTACOSでR1@0.3が13.7%、Ego4D NLQでR1@0.3が8.7%向上した。これは時系列認識に基づく強化学習最適化が長時間動画に直面した際の有効性と頑健性を実証している。
表 2：長時間動画の時系列ローカライズ性能比較
消融実験：表3はTaROの各核心設計の有効性を検証した。まず純粋なランダム探索のベースラインモデルに単独で時系列感度報酬（TR）を追加すると、R1@0.5が61.1%から63.1%へと向上し（1、2行目）、時系列感度報酬の有効性が実証された。一方、訓練中に外部構築の推論パス（CRE）を完全に模倣させるだけで、その後の自由探索段階（PC）を行わない場合、モデルのローカライズ性能は深刻な低下を示した（3、4行目）。これはテスト段階では外部字幕の入力に依存できず、モデルが自身の推論戦略を内在化しなければならないためである。そして漸進的カリキュラム学習（PC）を導入することでこのギャップが埋められ、最適な性能が達成された（5、6行目）。
表 3：消融実験
可視化結果：図3の可視化は、TaROが複雑なマルチモーダルシーンに対応する際の表現を示している。動画の冒頭に強力な干渉項目（女性が手で顔を拭く）が現れており、視覚的な動きがテキストクエリ（ブラシで顔を拭く）と非常に類似している。TaROは細粒度の中間時系列推論を生成することで、19.0秒から37.0秒の主要なアクションを正確に固定し、その後の無関係なフラグメントを排除して、最終的に正確な時系列予測を提供した。
図 3：可視化比較
結論
動画時系列ローカライズにおけるマルチモーダル大規模モデルの推論が表面的に留まり、真の時系列認識を欠いている問題に対して、本稿はTaROフレームワークを発表した。テンプレート化推論探索メカニズムを導入してモデルが「時間とともに思考する」ことを効率的に導き、時系列感度報酬を活用して推論品質を定量化することで、TaROはマルチモーダル大規模モデルの時系列推論能力を向上させることに成功した。大量の実験により、このフレームワークはモデル推論の頑健性と解釈可能性を顕著に向上させるだけでなく、複数の公開ベンチマークにおいて最高の動画時系列ローカライズ性能を達成したことが実証された。
」