設計ではなく進化。交差エントロピーがSGDに出会うとき、ベイズ推論は唯一の数学的必然となる。
長年にわたり、LLMの推論能力は説明の困難な「創発」として見なされてきた。Lossの低下は目に見えるが、パラメータ空間内部で何が起きているのかは透視困難だった。
近日、コロンビア大学と Dream Sports の研究チームは、一連の三部作となる論文を発表した。
この研究は実験観察に留まらず、最適化目標 (Loss)、内部幾何 (Geometry)、推論機能 (Inference) を結びつける完全な物理的図景を構築した。
それはLLMの動作原理に関する完全な物語を語っている。その核心的な野望は、タイトルが示す通り——数学を用いてTransformerのブラックボックス時代を終わらせることである。
彼らは証明した。Attentionメカニズムは、単なる近似的な特徴抽出器ではなく、勾配降下の駆動下で自発的に進化した、精確なベイズ推論機械である。
理論的锚点：交差エントロピーのベイズ終局
Transformerの訓練は通常、交差エントロピー損失の最小化に基づいている。Paper Iはまず、この最適化過程の数学的終局を明らかにした。
論文タイトル：
The Bayesian Geometry of Transformer Attention
論文リンク：
https://arxiv.org/abs/2512.22471
無限のデータと容量の限界において、交差エントロピーを最小化すると：
その最適解は、数学的に厳密に解析的ベイズ後事象予測分布 (Bayesian Posterior Predictive Distribution)と等しい：
有限容量のTransformerがこの限界に真正面から迫っているかを検証するため、著者らはベイズ風洞 (Bayesian Wind Tunnels)を構築した。
これは完全に制御された数学的環境であり、各ステップの解析後事象は正確に既知である。
〓 図1. 「ベイズ風洞」概念図。自然言語のようにGround Truthのない環境では、著者らは正確に測定可能な制御環境を構築した。
実験結果は、双射学習とHMM状態追跡タスクにおいて、Transformerが極めて高い精度を示すことを示した。
〓 図2. Transformerの予測エントロピーは理論的なベイズ後事象を正確に追従し、平均絶対誤差（MAE）は10^{-3}ビットと低かった。対照的に、MLPは仮説の除去に効果的にコンコンテキストを利用できなかった。
より微观的な証拠は単一シーケンス分析から得られ、モデルが平均記憶ではなく真に理解していることを示す決定的な証拠となる：
〓 図3. 個々の具体的なシーケンスに対して、Transformerのエントロピー（実線）は理論後事象（点線）の鋸歯状の変化を正確に追従し、モデルがトークン単位でリアルタイム推論を行っていることを証明している。
HMMタスクでは、モデルは完璧な長さ一般化 (Length Generalization)能力を示し、一般的な再帰アルゴリズムを学習したことを証明した：
〓 図4. モデルは訓練長K=20内で完璧に適合。テスト長K=30およびK=50では、誤差が滑らかに増加し、崖式の低下は見られず、モデルが丸暗記していないことを証明している。
幾何表象：推論の三段階進化
プローブ実験は、Transformerがこの推論プロセスを内部でどのように実現しているかをさらに明らかにした。著者らはこれを三段階の幾何的進化メカニズムとして描写している。
1. 仮説フレームの構築 (Layer 0)
推論は座標系の確立から始まる。第0層のKeyベクトルは近似的な直交基底 (Orthogonal Basis)を形成し、全ての可能な仮説を独立した幾何的部分空間に射影する。
〓 図5. Layer 0のKeyベクトルのコサイン類似度行列。非対角要素は0に近く、モデルが直交する仮説空間フレームを構築していることを示している。
2. 進行的な仮説除去 (中間層)
層が深まるにつれ、Attentionのルーティング (Routing)機能が徐々に現れる。QueryとKeyの一致度は顕著なシャープ化 (Sharpening)傾向を示す。
このプロセスは数学的に、ベイズ更新における尤度関数の乗法操作と等価であり、層を追うごとに現在の証拠と符合しない仮説を抑制していく。
〓 図6. Layer 0（左）の拡散的な注目からLayer 5（右）の高度に焦点を絞った注目への変化を示し、モデルによる誤った仮説の段階的な除去を示している。
3. エントロピー順序流形 (後期層)
ルーティング構造が安定すると、Valueベクトル は表現空間内で離散点として崩壊せず、滑らかな一次元流形 (1D Manifold)として展開する。
この流形のパラメータ化座標は、正確に後事象エントロピー (Posterior Entropy)に対応している。
〓 図7. 訓練後期、ValueベクトルのPCA射影は平滑な曲線を形成し、低エントロピー（高信頼度）状態と高エントロピー状態が幾何学的に順序だって並んでいる。
動力学の溯源：勾配降下の誘導メカニズム
なぜ標準的な勾配降下が上記の幾何構造を自発的に生成するのか？
Paper IIは、完全な一階勾配動力学の推導を通じて、交差エントロピー損失が精妙な正フィードバックメカニズムを誘を誘発することを発見した。
論文タイトル：
Gradient Dynamics of Attention: How Cross-Entropy Sculpts Bayesian Manifolds
論文リンク：
https://arxiv.org/abs/2512.22473
1. 優位ルーティング法則 (E-step)
Attention Score の勾配は以下の式に従う：
ただし 。定義 Advantage。
物理的意味：ここで は誤差勾配方向を表す。 が誤差方向と反対（つまり が負になるほどLossの削減に寄与）するとき、Advantageは正になる。
結論：勾配降下は、Lossの削減に効果的な位置のAttention重みを増加させる。
2. 責任加重更新法則 (M-step)
Value の更新は以下の式に従う：
物理的意味：Valueベクトルは、自身を注目する全てのQueryの上流誤差信号 の加重平均方向へ引き寄せられ、徐々にその簇のQueryの「プロトタイプ (Prototype)」へと進化する。
〓 図8. 動力学的幾何解釈
Value は誤差信号 へ移動し、Context を最適化し、互換性 （これをより負に）を増加させ、ルーティングと内容の協調進化のループを形成する。
この動力学プロセスは構造的に、暗黙的なEMアルゴリズム と等価である。Attention重みはEステップの「ソフト責任」を担い、ValueベクトルはMステップの「プロトタイプ」を担う。
これにより、フレーム-精度解離 (Frame-Precision Dissociation)現象も説明される。Attention構造は通常、訓練の初期に急速に安定するが、Value内容は残りの訓練中、流形上で持続的に微調整される。
現実の反映：重ね合わせ状態から思考の連鎖へ
上記の結論は制御環境に基づいているが、著者らはブログ [3] で、Pythia, Llama, Mistral などの実用級モデルでも同様の幾何学的特徴が観察されたことを指摘している。
鍵となるのは重ね合わせ状態 ：混合タスクでは、流形構造は高次元ノイズに覆い隠されることが多いが、領域制限 （例えば数学タスクのみに注目）を通じて、高次元表現は明確なエントロピー順序流形へと崩壊する。
〓 図8. 概念図は、特定の領域タスク下でPythia、Llama、Mistral内部に創発する類似の流形構造を示している。
この発見はChain-of-Thought (CoT)に明確な幾何学的説明を提供する。
複雑な推論タスクにおいて、Transformerは層の枯渇 のリスクに直面し、限られた計算ステップ内で必要な全ての仮説除去を完了できない。
CoTは本質的に幾何拡張装置 として機能する。
中間推論ステップを生成することで、モデルは実質的により多くの計算回数を獲得し、高信頼度の「エントロピー順序流形」に沿って一連の短距離で安定した状態遷移を可能にし、低信頼度領域での長距離ジャンプが引き起こす幻覚を避ける。
結論
この研究は、Transformerの知性の本質を理解するための統一的な視点を提供する。最適化は幾何を生み、幾何は推論を生み出す。
パラメータ行列は無作為な統計的近似ではなく、勾配流が交差エントロピーのポテンシャル面上「刻み込んだ」ベイズ推論機械である。
Attentionメカニズムは、幾何動力学の観点から見れば、まさにこの推論プロセスの物理的担い手なのである。
[1] Naman Aggarwal, Siddhartha R. Dalal, Vishal Misra. The Bayesian Geometry of Transformer Attention. arXiv preprint arXiv:2512.22471 (2025).
[2] Naman Aggarwal, Siddhartha R. Dalal, Vishal Misra. Gradient Dynamics of Attention: How Cross-Entropy Sculpts Bayesian Manifolds. arXiv preprint arXiv:2512.22473 (2025).
[3] Vishal Misra. Attention Is Bayesian Inference. Medium (Dec 2025). https://medium.com/@vishalmisra/attention-is-bayesian-inference-578c25db4501