コンテキストを単に長くするだけでは強化学習能力が自動的に湧き出るわけではなく、明示的なベイズ推論の導入こそが突破口になります。
In-Context RL（文脈内強化学習）の研究ブームの中で、「Transformerを大きくし、コンテキストウィンドウを長くすれば、モデルはAD（Algorithm Distillation）やDPT（Decision-Pretrained Transformer）のように最適な戦略を『悟る』ことができる」という慣性思考が存在しがちです。
しかし、実験結果によると、既存のIn-Context RL手法にはsignificantな限界があります。それらは本質的に「条件付き行動クローニング（Conditional Behavior Cloning）」に近いものです。
もしモデルに専門家のデータを与えれば、うまく模倣することができます。しかし、コンテキストに準最適、あるいはランダムな軌跡が溢れている場合（これは実際の応用では常態です）、モデルは往々にしてこれらの準最適な行動に適合し、戦略バイアスを継承してしまい、実演者のレベルを超えることができなくなります。
最近、Yoshua Bengio氏率いるMila研究所のチームが「SPICE」という新しい研究を公開しました。この研究はモデルのパラメータ数を増やすことに固執するのではなく、「ディープアンサンブル」、「ベイズ推論」、「Transformer」をエレガントに組み合わせています。
SPICEの核心的な洞察は、事前学習モデルを単なるアクション予測器と見なすのではなく、「価値の事前分布」を提供するツールとして捉えることにあります。
テスト時（Test-time）には、明示的なベイズの公式を用いてこの事前分布とコンテキストの証拠を融合し、UCB（上部信頼限界）アルゴリズムを用いて決定を行います。
たとえ事前学習データの質が極めて悪い場合でも、SPICEは理論的に「対数オーダーのリグレット（Logarithmic Regret）」を持つことが証明されており、実験においてもDPTなどのベースラインモデルよりも大幅に優れた性能を示しました。
論文タイトル：
In-Context Reinforcement Learning through Bayesian Fusion of Context and Value Prior
論文リンク：
https://arxiv.org/pdf/2601.03015
In-Context RLが「低品質データ」に遭遇した時
現在のIn-Context RLのパラダイム（DPTなど）は通常、大量のオフライン軌跡上で教師あり学習を行い、π(a|h)の適合を目指します。これは厄介な問題「行動ポリシーバイアス（Behaviour-Policy Bias）」を引き起こします。
もし事前学習データの生成ポリシーが準最適であったり、強いノイズを含んでいたりする場合、MLE（最尤推定）で学習されたモデルはこのバイアスを継承してしまいます。
推論段階で、コンテキスト内の履歴データも準最適である場合、モデルは自身の帰納バイアスだけで最適解を推論することが難しく、単純な注意機構によって探索行動を無から生み出すことはできません。
テスト時で真の強化学習（つまり探索を行いポリシーを改善すること）を実現するには、既存のTransformerアーキテクチャに欠けている2つの重要な要素が必要です：
1. Q値の明示的な推定：単にアクションの確率を予測するだけではありません。
2. 不確実性の定量化：自分が何を知らないかを知り、それによって探索を駆動します。
方法論：事前分布、証拠、そして融合
SPICEは「Shaping Policies In-Context with Ensemble prior」の略称です。そのアーキテクチャは複雑ではなく、事前学習された知識と現在のコンテキストとの関係をいかにエレガントに処理するかに重点が置かれています。
図1. SPICEの学習と推論の概要。左側が学習フェーズでValue Ensembleを学習します。右側が推論フェーズで、Kernelを通じて証拠を抽出しベイズ融合を行います。
SPICEのワークフローは3つのステップに分解できます：
1. 学習フェーズ：価値の事前分布を学習する
SPICEは引き続きCausal Transformerをバックボーンとして使用しますが、その出力ヘッドは単純なポリシーヘッドではなく、N個の「バリューヘッド（Value Heads）」（アンサンブル学習）を備えています。
与えられたクエリ状態sに対して、これらN個のヘッドはN個のQ値推定値を出力します。これらの推定値を使用して、ガウス分布を「事前分布」として構築します：
ここで、μは事前分布の平均、σ²は事前分布の認識的不確実性です。
重要な詳細：重みづけ表現の形成とベイズ収縮
Transformerの潜在空間を価値関数の推定に適したものにするため、著者は非常にこだわった補助ポリシー損失を設計しました：
ここでの重みwは3つの因子の積であり、それぞれ重要度サンプリング、アドバンテージ重み付け、認識的不確実性の重み付けに対応します：
I(s) (Importance Sampling)：行動ポリシーバイアスを修正します。
A(s,a) (Advantage)：高いアドバンテージを持つサンプルにより高い重みを与え、モデルに「良い」アクションを注視させます。
U(s) (Epistemic)：不確実性が高い（アンサンブル分散が大きい）領域により高い重みを与え、モデルが確信できない部分を学習するよう強制します。
さらに、バリューヘッドが出力する分布の良好なキャリブレーションを保証するため、著者はバリューアンサンブルの学習時に「ベイズ収縮損失」を導入し、学習段階で予測値が事後平均に向かって収縮するよう制約しています。これは、テスト時のベイズ更新の基礎となります。
2. 推論フェーズ：コンテキスト証拠の抽出
テスト時において、SPICEは勾配更新を必要としません。コンテキスト（履歴の相互作用軌跡）に対して、SPICEはそれを「証拠」として扱います。
コンテキスト内の状態s'が現在のクエリ状態sと異なる可能性があるため、単純に統計量を使うことはできません。
SPICEは、Transformerが抽出した潜在特徴φ(s')を使用し、カーネル関数（RBFカーネルなど）を通じて類似度の重みを計算します：
この重みを使用して、各アクションaの現在の状態付近での「重みづけされたカウント」n_aと「重みづけされた平均目標値」ν_aを計算できます：
ここでのy'は1ステップの報酬（バンディット設定）あるいはnステップTDターゲット（MDP設定）にすることができます。
3. ベイズ融合と意思決定
SPICEの突破口は、Q値がガウス分布に従うと仮定し、正規-正規共役性（Normal-Normal Conjugacy）を利用して、Q値の事後分布を直接的に取得することにあります。
事後分布の精度（Precision、つまり分散の逆数）は、事前精度とデータ精度の合計に等しくなります：
事後平均は、事前平均とデータ平均の加重組み合わせです：
ここでγ = 1 / (1 + σ_n² τ²)です。
図2. SPICEの詳細なアーキテクチャ図：潜在特徴からPrior Ensembleへ、さらにKernel Evidenceと結合してPosteriorを生成する完全なチェーンを示しています。
事後分布N(μ_post, σ_post²)を得た後、SPICEはオンライン相互作用時に「事後UCB」戦略を採用して探索を行います：
この式はSPICEの振る舞いを直感的に説明しています：
もしコンテキストに関連するデータがない場合（n_a=0）、事後分布は事前分布に戻り、モデルは事前学習された知識に依存します。
コンテキストの証拠が十分であれば、事後分散σ_post²は急速に減少し、平均は真の観測値に修正されるため、事前学習のバイアスから脱却できます。
βσ_post項は、不確実なアクションの継続的な探索を保証します。
理論的保証
理論に焦点を当てる研究者にとって、SPICEは非常に厳密な結論を提供しています。
論文では、バンディットと有限ホライゾンMDPにおいて、SPICEのリグレット境界が以下を満たすことが証明されています：
右側の2項に注目してください：
第1項は標準的なO(log T)のリグレット境界です。これは、SPICEが古典的なUCBアルゴリズムと同じ最適の漸近収束率を持っていることを意味します。
第2項は定数項（ウォームスタート項）であり、事前学習された事前分布の品質τに依存します。
これは、たとえ事前学習モデル（事前分布）に大きなバイアスがあったとしても、それは定数レベルのリグレットを増加させるだけであり、DPTのようにリグレットが時間とともに線形的に増加するようなことはないことを意味します。
テスト時に相互作用があれば、SPICEは最終的に必ず最適なポリシーに収束します。
実験結果：DPTよりも大幅に優れている
「低品質データ」下での適応能力を検証するため、著者はバンディットとDarkroom（2Dナビゲーション）環境で非常に厳しい実験条件を設計しました。
特にDarkroomの実験では、事前学習データのラベルに"Weak-last"設定を採用しました。つまり、ラベルが最適なアクションではなく、ランダムなポリシー軌跡の最後のステップのアクションになっています。これは基本的にノイズが非常に大きな準最適データです。
1. バンディット実験：線形リグレットの拒否
図3. バンディットの性能評価。SPICEはオンライン設定で最低の累積リグレットを達成しましたが、DPTはリグレットが線形的に増加しました。
上の図からわかるように、オンライン設定において、SPICEはすべての学習ベースの手法の中で最低の累積リグレットを達成し、古典的なUCBアルゴリズムの性能に紧随しています。
対照的に、DPTの最終リグレット値はSPICEより2桁高く、DPTが微弱なログデータから適応できなかったのに対し、SPICEは真に文脈内でのポリシー改善を実現したことを示しています。
2. ロバスト性：ノイズを恐れない
図4. 報酬ノイズに対するロバスト性。テスト時のノイズσが増加しても、DPTのリグレットは高いままですが、SPICEは安定したままです。
上図の結果は、テスト環境の報酬ノイズが増加しても、SPICE、Thompson Sampling、UCBの性能はわずかな絶対変化しか示さず、良好な安定性を保っていることを示しています。
一方、DPTは最終リグレット値が常に高止まりしており、ノイズの変化に対してほとんど感度がないため、準最適データで学習した場合の適応性の欠如がさらに裏付けられています。
3. MDP実験：ゼロからイチへの質的変化
図5. Darkroom (MDP)の実験結果。"Weak-last"ラベルしかない极端な場合、DPTの報酬はほぼゼロですが、SPICEは迅速に学習し高い報酬を得ることができます。
シーケンシャル意思決定を伴うDarkroomのようなタスクでは、実験結果はSPICEが環境に迅速に適応し、高い報酬を獲得できることを示しており、そのリグレット曲線は短いウォームアップの後、急速に平坦化します。
対照的に、DPTとAD-BCはこの弱い教師あり設定下で、ほぼ線形なリグレット増加を示し、報酬はほぼゼロです。
これは、不確実性の定量化がない手法は「低品質データ」に直面した際、準最適な行動を模倣するというトラップから抜け出すことが難しいことを示しています。
結語
SPICE这篇论文并没有盲目地堆砌 Transformer 的参数，而是回归了强化学习的本质——价值估计与不确定性量化。
SPICEは、Transformerのパラメータを盲目的に積み上げるのではなく、強化学習の本質である「価値推定と不確実性の定量化」に回帰しました。
ディープアンサンブルとベイズ融合を導入することで、SPICEはIn-Context RLにおける2つのコアな問題を巧妙に解決しました：
1. 準最適なデータをどう利用するか？それを真理ではなく、事前分布として扱う。
2. テスト時の探索をどう実現するか？単純な模倣ではなく、事後不確実性によって駆動されるUCBを使用する。
Algorithm 1の擬似コードも非常に簡潔であり、今後の研究のベースラインとして最適です。
図6. SPICEアルゴリズムの擬似コード。Transformerのエンコーディングと閉形式ベイズ更新を組み合わせる方法を明確に示しています。
もちろん、SPICEには限界もあります。現在、状態の類似度を測定するためにカーネル関数に依存しているため、高次元または部分観測可能（POMDP）な環境では、良いカーネルを設計すること依然是課題です。