メモリキャッシング：メモリ容量が増大する RNN

著者: Ali Behrouz^1,2,†, Zeman Li^1,3, Yuan Deng¹, Peilin Zhong¹, Meisam Razaviyayn^1,3, Vahab Mirrokni^1
1
2
3
† correspondence: alibehrouz@google.com

要旨

トランスフォーマーは、コンテキスト長に比例して増大するメモリ容量により、最近のシーケンスモデルにおける飛躍的進歩の事実上の基盤（バックボーン）として確立されました。この特性は検索タスクには有効ですが、計算量が 2 乗オーダー（二次的複雑度）になるという代償を伴い、より効率的な部分 2 乗オーダーの再帰的代替案を探る研究動機となっています。これらの再帰的アーキテクチャは多様な分野で有望な予備結果を示しているものの、固定サイズメモリに起因するとされる_recall_（想起）集約型タスクにおいてはトランスフォーマーに性能が劣ります。本論文では、メモリ状態（隠れ状態）のチェックポイントをキャッシュすることで再帰モデルを強化する、シンプルかつ効果的な手法である「メモリキャッシング（MC）」を導入します。MC を用いることで、RNN の実効メモリ容量をシーケンス長に応じて増大させることが可能となり、RNN の固定メモリ（計算量 O(L)）とトランスフォーマーの増大メモリ（計算量 O(L²)）との間を補間する柔軟なトレードオフを提供します。本研究では、ゲート付き集約やスパース選択機構を含む 4 つの MC 変種を提案し、線形および深層メモリモジュールへの影響について論じます。言語モデリングおよび長文脈理解タスクにおける実験結果は、MC が再帰モデルの性能を向上させることを示しており、その有効性を裏付けています。また、文脈内想起タスクの結果は、トランスフォーマーが最高精度を達成する一方、我々の MC 変種は競合しうる性能を示し、トランスフォーマーとの差を縮め、既存の最先端再帰モデルを上回る性能を発揮することを示唆しています。

1. はじめに

トランスフォーマー (Vaswani et al., 2017) は、多岐にわたる分野における機械学習の最近の進歩の基盤となっています (Jumper et al., 2021; Dosovitskiy et al., 2021; Comanici et al., 2025)。この成功は、しばしば大規模スケールでの学習能力 (Kaplan et al., 2020) と文脈内学習 (Brown et al., 2020) に起因するとされ、これらはいずれも、増大する容量を持つ連想メモリとして機能する主要な構成要素、すなわちアテンションモジュールの産物です (Ramsauer et al., 2021; Bietti et al., 2024; Behrouz et al., 2026)。多くの検索タスクには効果的である一方 (Arora et al., 2024b)、この増大するメモリは計算量の 2 乗オーダー化と推論時の高いメモリ使用量（KV キャッシング）を招きます。これが、性能を維持しつつ効率性を向上させることを目指す部分 2 乗オーダーのアーキテクチャ開発の動機となりました (Dai et al., 2019; Child et al., 2019; Poli et al., 2023)。

特に、過去のデータをメモリ状態に圧縮し、入力シーケンス全体を通じて固定サイズを維持することを目指す再帰的ニューラルネットワーク（RNN）が、近年再び注目を集めています (Katharopoulos et al., 2020; Irie et al., 2021; Sun et al., 2023; Behrouz et al., 2025c)。短い文脈における言語モデリング (Irie et al., 2022) や動画データなどの他のシーケンスモデリングタスク (Park et al., 2025) において有望な結果を示しているものの、こうした再帰的アーキテクチャの固定メモリ状態が、その真の能力を発揮する上でのボトルネックとなっています。これらのアーキテクチャの基盤は再帰とデータ圧縮にあり、慎重な設計により、非常に効率的で表現力の高い学習アルゴリズムを生み出す可能性があります (Merrill et al., 2024; Huang et al., 2024)。しかし、増大するシーケンスを圧縮するその固定容量は、過去の情報を忘却することを余儀なくさせます。これは、特に想起を要するタスクや長文脈タスクにおいて重大なボトルネックとなります (Arora et al., 2024b; Kuratov et al., 2024)。

貢献。 我々は、メモリ状態（隠れ状態）のチェックポイントをキャッシュすることで、再帰モデルの実効メモリをシーケンス長とともに増大させることを可能にする一般的手法「メモリキャッシング（MC）」を導入します（図 1を参照）。MC は標準的な再帰とアテンションとの間の柔軟な中間地点を提供し、O(NL) という制御可能な計算複雑度を実現します。これにより、RNN の O(L) 複雑度とトランスフォーマーの O(L²) 複雑度との間を柔軟に補間することが可能になります。我々の貢献は以下の 3 点に要約されます。

• MC フレームワーク: シーケンスをセグメントに分割し、各セグメントの圧縮されたメモリ状態をキャッシュする手法を提案します。これにより、モデルは履歴全体からの圧縮情報に直接アクセスできるようになります。
• 新規な集約戦略: キャッシュされたメモリを利用するための 4 つの手法を導入します。(i, ii) 残差接続と新規な文脈依存ゲート機構を用いる（ゲート付き）残差メモリ、(iii) 重みスープ（Weight Souping）に着想を得た、キャッシュされたメモリモジュールのパラメータを平均化する「メモリスープ」（非線形メモリ用）、および (iv) 専門化混合（Mixture-of-Experts）スタイルのルーターを用いて、文脈的に最も関連性の高いキャッシュされたメモリのみを選択し、効率的に集約する「スパース選択キャッシング（SSC）」です。
• 実証的検証: 概念実証として、線形アテンション（LA）(Katharopoulos et al., 2020)、深層メモリモジュールである Titans (Behrouz et al., 2025c)、およびスライディングウィンドウ線形アテンション（SWLA）と Deep Linear Attention (DLA) (Behrouz et al., 2025a) の 3 つのアーキテクチャにおいて MC の有効性を実証します。言語モデリング、長文脈、検索タスクにおいて、MC が性能を向上させ、RNN の実効的な文脈長を拡張することを示します。

2. 予備知識と背景

本節では、必要な背景知識のレビューと記法の定義を行います。特に、アテンションとその線形変種の概念をレビューし、続いて、我々がメモリキャッシングを構築する基盤となる、パラメトリックな文脈内学習とネステッド学習パラダイム (Behrouz et al., 2026; 2025b) について議論します。

記法。 ベクトルには太字の小文字を、行列には太字の大文字を使用し、添字 t は時刻 t における実体の状態を表します。本稿を通じて、入力を x ∈ R^(L×d_in)、時刻 t におけるメモリ M(・) の状態を M_t、キーを K、バリューを V、クエリ行列を Q、シーケンス長を L とします。我々は、L_M ≥ 1 層の MLP ベースのメモリ構造に焦点を当てます。特筆すべきは、この定式化には L_M = 1 の場合、すなわち線形行列値メモリモジュールも含まれる点です。必要に応じて、メモリモジュール M(・) を θ_M := {W_1, ..., W_LM, ...} としてパラメータ化します。これには少なくとも MLP 内の線形層のパラメータが含まれます。

アテンション。 アテンション (Vaswani et al., 2017) はトランスフォーマーの主要な構成要素であり、その連想メモリとして機能します (Bietti et al., 2023; Behrouz et al., 2026; Wang et al., 2025)。入力 x ∈ R^(L×d_in) が与えられたとき、因果的アテンションは、入力に依存するキー、バリュー、クエリ行列 Q = xW_Q, K = xW_K, V = xW_V を用いて、出力 y ∈ R^(L×d_in) を以下のように計算します。

y_i = Σ_{t=1}^{i} [exp(q_i^T k_t) v_t] / [Σ_{l=1}^{i} exp(q_i^T k_l)] = (1/Z_i) Σ_{t=1}^{i} exp(q_i^T k_t) v_t ... (1)

ここで、W_Q, W_K, W_V ∈ R^(d_in×d_in) は学習可能なパラメータであり、Z_i = Σ_{l=1}^{i} exp(q_i^T k_l) は正規化項です。アテンションは、すべての過去のトークンにアクセスする必要があるため、O(L²) の演算量を必要とします。

線形アテンション。 線形アテンション (Katharopoulos et al., 2020) とその変種 (Schlag et al., 2021; Peng et al., 2023; Yang et al., 2024b) は、式 (1) における exp(・) 演算子を分離可能なカーネル φ(・) に置き換えることで、アテンションの効率を向上させ、効率的な再帰的定式化をもたらします。

y_i = Σ_{t=1}^{i} [φ(q_i)^T φ(k_t) v_t] / [Σ_{l=1}^{i} φ(q_i)^T φ(k_l)] = (1/Z_i) M_i φ(q_i) ... (2)

ここで、M_t = M_{t-1} + v_t φ(k_t)^T は固定サイズのメモリとして機能します (Katharopoulos et al., 2020)。

テスト時メモリー化とネステッド学習の観点。 最近の統一的な枠組みは、アテンションおよび最新の RNN を含むシーケンスモデルの更新則を、異なる目的関数を持つ動的な文脈内学習・メモリー化プロセスとして解釈します (Behrouz et al., 2026; 2025b)。この観点では、モデルは入力トークン（キーとバリュー）間のマッピングを能動的に学習する連想メモリとして機能します。このメモリー化は、多くの場合 L_2 回帰問題 (Wang et al., 2025) として定式化される内部的な目的関数、あるいは「アテンションバイアス」と呼ばれるより一般的な目的関数 (Behrouz et al., 2026; 2025b) を最適化することで達成されます。この観点は、メモリ状態を前方パス中に最適化される動的な実体として位置づけます。特に、Miras フレームワーク (Behrouz et al., 2026) の最も単純な形式では、連想メモリ M(・) は、以下の目的関数（「アテンションバイアス」と呼ばれる）に基づき、キー {k_t}_{t=1}^L とバリュー {v_t}_{t=1}^L の間のマッピングを学習することを目指します。

M_{t+1} = argmin_M L(M(k_t); v_t) + Ret(M; M_t) ... (3)

ここで、目的関数 L(・) はマッピングの質を測定し、Ret(M; M_t) は新しい解をメモリの直前の状態に近づくように保ちます。アテンションバイアスの特定の選択により、よく知られたアーキテクチャを再現できます。例えば、L(M(k_t); v_t) = ⟨M(k_t), v_t⟩ および M(・) ∈ R^(d×d) とすると、非正規化線形アテンションアーキテクチャ (Katharopoulos et al., 2020) が導かれます。我々はこの観点を活用し、キャッシュされた状態をこの最適化プロセスのチェックポイントとして機能させる「メモリキャッシング」を導入することで、長いシーケンス全体にわたる情報の検索能力を向上させます。

3. メモリキャッシングを備えた再帰的ニューラルネットワーク

RNN は入力シーケンスを圧縮するために固定サイズのメモリを維持します。シーケンスが長くなるにつれ、これはメモリのオーバーフローと性能の低下を招きます。対照的に、アテンションは過去のすべてのトークンをキャッシュするため、メモリは増大しますが計算コストは 2 乗オーダーになります。我々は、中間的なメモリ状態をキャッシュする「メモリキャッシング（MC）」を提案し、モデルのメモリが任意のスケールで増大することを可能にする中間地点を提供します。これにより、計算コストは RNN のような O(L) とトランスフォーマーのような O(L²) の間を補間できます。このために、トークンのシーケンス x ∈ R^(L×d_in) が与えられたとき、これをサイズ L^(1), ..., L^(N) のセグメント S^(1), ..., S^(N) に分割し、これらのセグメントを圧縮するためにメモリ M^(1), ..., M^(N) を使用します。s 番目のセグメントに対応するメモリの更新則、あるいは再帰は以下の通りです。

k_t = x_t W_k, v_t = x_t W_v, q_t = x_t W_q ... (4a)
M_t^(s) = f(M_{t-1}^(s); k_t, v_t), ここで 1 ≤ t ≤ L^(s) ... (4b)

ここで、f(・) は学習更新則です（例：線形アテンション (Katharopoulos et al., 2020) の場合、f(M_{t-1}^(s); k_t, v_t) = M_{t-1}^(s) + v_t k_t^T）。上記の定式化を用いて、メモリを更新した後、各セグメントの最終状態（M_L^(s)^(s)）をキャッシュします。ここで T は現在のセグメントのインデックス（x_t ∈ S^(T)）です。標準的な RNN は、現在のメモリ状態 M_t(q_t) のみを用いて出力 y_t を計算します。対照的に、我々の定式化では、現在のメモリ（オンラインメモリ）に加えて、すべてのキャッシュされたメモリを用いて、クエリ q_t に対する出力を計算します。任意の集約関数 Agg(・;・;・) を与えられたとき、出力は以下のようになります。

y_t = Agg({M_L^(1)^(1)(・), ..., M_L^(s-1)^(s-1)(・)}; M_t^(s)(・); q_t) ... (5)

ここで、s は現在のセグメントのインデックスです。1 ≤ i ≤ s に対し、項 M_L^(i)^(i)(q_t) は、セグメント i におけるクエリ q_t に対応する情報を提供します。以下の節では、過去の情報を現在の出力計算に組み込み、モデルの実効メモリ容量を増大させるための、効果的な Agg 関数の選択肢をいくつか提示します。

3.1 残差メモリ

最も単純な Agg 演算子、すなわちメモリ状態間の残差接続として機能する総和から始めます。この場合、キー、バリュー、クエリ（式 4 参照）およびセグメント S^(1), ..., S^(N) が与えられたとき、セグメント s 内の時刻 t におけるメモリ更新と出力計算は次のように定義されます。

M_t^(s) = f(M_{t-1}^(s); k_t, v_t), ここで 1 ≤ t ≤ L^(s) ... (6)
y_t = M_t^(s)(q_t) [オンラインメモリ] + Σ_{i=1}^{s-1} M_L^(i)^(i)(q_t) [キャッシュされたメモリ] ... (7)

メモリキャッシングにおける重要な変更点は、出力が計算される方法です。実際、メモリの検索において、モデルは入力クエリ q_t に対して、現在のメモリ（オンラインメモリ）とキャッシュされたメモリの両方を前方パスします。

ゲート付き残差メモリ (GRM)。 メモリモジュールが厳密に線形である場合（すなわち M が行列の場合）、残差メモリの定式化（式 7）は、キャッシュされたメモリがあらかじめ総和可能であるため、数学的には標準的な固定サイズメモリに帰着します（後述の式 13 を参照）。しかし実際には、我々の実験結果は、この単純な定式化でさえ再帰モデルの能力を向上させることを示しています（セクション 5 を参照）。その主な理由は、単純な残差メモリでさえ、遠い過去の情報へのアクセスを強化する保持（リテンション）演算子として機能するからです。残差アプローチのさらなる制限は、クエリ q_t との関連性を無視して、すべてのキャッシュされたメモリを等しく扱う点にあります。選択的な検索を可能にするため、入力依存型のゲーティングを導入します。セグメント s 内の入力 x_t が与えられたとき、0 ≤ γ_t^(1), ..., γ_t^(s) ≤ 1 となる入力依存パラメータを定義し、出力を以下のように再定式化します。

M_t^(s) = f(M_{t-1}^(s); k_t, v_t), 1 ≤ t ≤ L^(s) に対して ... (8)
y_t = γ_t^(s) M_t^(s)(q_t) + Σ_{i=1}^{s-1} γ_t^(i) M_L^(i)^(i)(q_t) ... (9)

ここで、パラメータ γ_t^(i) は各セグメントの出力への寄与を調整します。γ_t^(i) → 1 のとき（それぞれ 0 のとき）、i 番目のセグメントは出力により多く（それぞれ少なく）寄与します。これらの入力依存パラメータのため、上記の定式化はこのトークンより前に事前計算することはできず、次のトークンやセグメントのために再利用することもできません。したがって、前述の変種とは対照的に、固定サイズメモリの場合に帰着することはなく（線形メモリの場合でさえ）、すべてのトークンに対して再計算され、メモリ状態のキャッシングを必要とします。γ_t^(i) のパラメータ化の単純な選択肢は、これらを入力 x_t の線形射影（キー、バリュー、クエリへの射影と同様）として定義することです。しかし、このパラメータ化では、γ_t^(i) は位置に基づくフィルタリング・フォーカスとして機能し、x_t の文脈がその内容に関わらず、i 番目のセグメントのメモリが（位置に基づいて）どれだけ寄与するかのみを決定してしまいます。この問題を克服するため、γ_t^(i) を x_t と i 番目のセグメント S^(i) の両方の関数とし、両者の文脈とその類似性を取り込むことを提案します。このために、入力の線形射影であるコネクタパラメータ u_t を導入し、γ_t^(i) を u_t と i 番目のセグメント S^(i) の類似度として定義します。

γ_t^(i) = ⟨u_t, MeanPooling(S^(i))⟩ ここで u_t = x_t W_u ... (10)

ここで、MeanPooling(・) は、すべてのトークンの平均としてセグメントの文脈の単純な表現を提供します。ただし、これは他のプーリング処理に置き換えることも可能です。実際には、γ_t^(i) を softmax(・) を用いて正規化します。代替的なパラメータ化として、u_t = q_t を使用することもできます。γ_t^(i) が定数である場合、GRM は残差メモリ変種と等価になります。

例。 上記の定式化をより明確にするための例示として、f(M_{t-1}^(s); k_t, v_t) = M_{t-1}^(s) - ∇⟨M_{t-1}^(s)(k_t), v_t⟩ とします。ここで、メモリ M(・) は任意のフィードフォワード層（例：MLP またはゲーテッド MLP 層）です。この一般形式は Deep Linear Attention (DLA) (Behrouz et al., 2025a) と等価であり、メモリが行列（すなわち 1 層の MLP）の場合、線形アテンション (Katharopoulos et al., 2020) と等価になります。DLA に残差メモリキャッシングを適用すると、以下の更新および検索則を持つモデルが得られます。

スライディングウィンドウ線形アテンション (SWLA)。 最近、Behrouz ら (2025a) は、スライディングウィンドウ線形アテンション (SWLA) を導入しました。これは、メモリが直前のトークンのみに基づいて更新されるオンライン RNN とは対照的に、$c\ge 1$ 個の過去トークンに基づいて重みを更新するものです。具体的には、メモリモジュール $ℳ(\cdot )$ およびキー、バリュー、クエリ ${\left\{({𝒌}_t,{𝒗}_t,{𝒒}_t)\right\}}_{t=1}^L$ が与えられたとき、更新則と検索則は次のように定義されます。

$${ℳ}_t={\alpha }_t{ℳ}_{t-1}+\sum _{i=t-c+1}^t{\beta }_i^{\left(t\right)}{𝒗}_i{𝒌}_i^{\top },$$	(26)
$${𝐲}_t={ℳ}_t{𝒒}_t,$$	(27)

$c=1$ の場合、この設計は単純な線形アテンション（オンライン線形 RNN）およびそのゲーティング変種 (Katharopoulos ら, 2020; Sun ら, 2023; Li ら, 2025) に帰着します。概念実証として、$c=2$ である SWLA にメモリキャッシングを適用し、以下の再帰および検索則を得ました。

$${ℳ}_t^{\left(s\right)}={\alpha }_t{ℳ}_{t-1}^{\left(s\right)}+\left({\beta }_t{𝒗}_{t-1}{𝒌}_{t-1}^{\top }+{\lambda }_t{𝒗}_t{𝒌}_t^{\top }\right),$$	(28)
$${𝐲}_t={\gamma }_t^{\left(s\right)}{ℳ}_t^{\left(s\right)}{𝒒}_t+\sum _{i=1}^{s-1}{\gamma }_t^{\left(i\right)}{ℳ}_{L^{\left(i\right)}}^{\left(i\right)}{𝒒}_t.$$	(29)

前述の通り、SWLA は線形メモリモジュールであるため、GRM 変種とメモリ・スープ変種のいずれも同じ定式化になることに留意してください。

モデル	Wiki. ppl↓	LMB. ppl↓	LMB. acc↑	PIQA acc↑	Hella. acc_n↑	Wino. acc↑	ARC-e acc↑	ARC-c acc_n↑	SIQA acc↑	BoolQ acc↑	Avg. ↑
760M パラメータ / 30B トークン
Transformer++	24.18	24.27	36.3	67.2	41.8	52.0	65.6	33.4	39.1	61.7	49.64
Samba∗	21.07	22.85	39.2	68.9	47.8	53.1	65.8	34.9	38.9	63.1	51.46
RetNet	25.77	24.19	34.5	66.8	41.2	51.9	63.6	32.5	38.8	56.2	48.19
DeltaNet	24.52	24.38	36.8	67.3	44.5	51.8	64.2	32.7	39.6	60.1	49.63
RWKV-7	23.75	23.08	37.1	67.3	47.6	52.2	64.7	34.2	39.4	61.9	50.55
Miras (Memora)	22.28	22.31	38.2	67.8	49.3	53.3	63.6	36.1	40.9	63.0	51.53
SWLA	23.83	22.74	36.5	66.9	44.1	54.9	64.2	34.1	39.6	60.1	50.05
+ Log-Linear++	23.37	22.19	36.9	67.3	44.7	55.0	64.9	34.6	39.4	60.4	50.40
+ GRM (= Soup)	22.81	21.50	37.8	68.3	45.8	55.0	65.4	36.2	40.6	61.0	51.26
+ SSC	23.06	22.39	37.2	67.9	45.2	54.9	65.2	35.5	39.8	60.6	50.79
DLA	23.12	22.09	36.1	68.0	47.9	52.7	65.8	34.6	39.1	59.6	50.48
+ Log-Linear++	23.08	21.15	36.8	68.1	47.7	53.0	65.6	35.1	39.2	59.3	50.60
+ GRM	22.91	20.10	37.5	69.2	48.7	52.8	66.1	36.8	40.3	59.9	51.41
+ Memory Soup	22.78	20.49	37.2	69.6	48.3	53.4	65.8	36.5	39.6	60.2	51.33
+ SSC	23.14	20.86	37.0	68.4	47.7	52.7	66.0	35.2	39.7	60.1	50.85
Titans (LMM)	20.04	21.96	37.4	69.3	48.5	52.3	66.3	35.8	40.1	62.8	51.56
+ Log-Linear++	19.79	20.62	37.8	70.1	48.0	52.5	66.8	35.6	40.3	62.8	51.74
+ GRM	19.14	20.21	38.3	70.6	48.4	54.0	67.5	36.4	41.7	63.5	52.55
+ Memory Soup	19.52	20.38	38.0	71.4	48.6	53.7	67.1	35.4	41.3	63.1	52.33
+ SSC	19.39	20.46	37.7	70.9	48.7	53.5	66.9	36.3	41.2	63.1	52.29
1.3B パラメータ / 100B トークン
Transformer++	17.92	17.73	42.6	71.4	51.3	54.1	69.9	36.0	41.8	58.4	53.19
Samba∗	16.15	13.21	45.2	71.5	53.8	55.8	69.1	36.7	40.6	63.0	54.46
RetNet	18.91	17.04	41.2	71.3	49.1	55.2	67.5	34.1	41.4	61.0	52.60
DeltaNet	18.62	17.10	41.6	70.1	49.4	52.7	67.6	35.2	39.7	54.8	51.39
Miras (Memora)	15.90	12.04	48.7	73.1	56.0	57.4	71.5	37.9	40.2	61.3	55.76
SWLA	18.47	16.23	39.4	70.9	48.8	56.5	67.3	35.8	41.5	60.2	52.55
+ Log-Linear++	18.67	16.09	39.9	71.2	49.3	56.6	68.1	36.3	41.4	60.4	52.90
+ GRM (= Soup)	18.51	15.95	40.6	72.6	50.5	57.8	69.5	40.8	42.8	62.2	54.60
+ SSC	18.61	16.01	40.4	71.9	50.0	57.1	68.9	38.6	42.2	61.2	53.79
DLA	16.31	12.29	44.5	70.6	53.9	54.2	69.6	36.0	40.8	60.2	53.72
+ Log-Linear++	16.22	12.25	44.9	71.1	54.5	54.8	70.0	36.6	41.3	60.7	54.24
+ GRM	16.08	12.10	45.8	72.5	55.9	55.8	71.5	41.2	42.8	62.2	55.96
+ Memory Soup	16.16	12.17	45.6	71.9	55.4	55.6	70.9	37.7	42.0	61.5	55.08
+ SSC	16.20	12.19	45.3	71.7	54.8	55.3	70.4	37.1	41.4	61.1	54.64
Titans (LMM)	15.60	11.41	49.1	73.1	56.3	59.8	72.4	40.8	42.1	61.0	56.82
+ Log-Linear++	15.49	11.38	49.4	73.6	56.5	60.3	72.8	41.1	42.5	61.3	57.19
+ GRM	15.37	11.29	50.4	74.5	57.4	61.5	73.8	42.6	43.9	62.5	58.33
+ Memory Soup	15.42	11.31	49.9	74.2	57.3	60.8	73.5	42.2	43.4	62.0	57.91
+ SSC	15.44	11.35	49.6	73.8	57.0	60.6	73.1	41.9	42.8	61.8	57.58
∗ はアテンションと線形 RNN のハイブリッド (Ren ら, 2024)。

ディープ線形アテンション (DLA)。 DLA は線形アテンション（ヘッビアン則）と同じ更新則を使用しますが、ディープなメモリモジュールを備えています。つまり、メモリモジュール $ℳ(\cdot )$ およびキー、バリュー、クエリ ${\left\{({𝒌}_t,{𝒗}_t,{𝒒}_t)\right\}}_{t=1}^L$ が与えられたとき、更新則と検索則は次のように定義されます。

$${ℳ}_t={ℳ}_{t-1}-{\eta }_t\nabla ℒ({ℳ}_{t-1};{𝒌}_t,{𝒗}_t),$$	(30)
$${𝐲}_t={ℳ}_t\left({𝒒}_t\right),$$	(31)

ここで、アテンション・バイアス目的関数は $ℒ({ℳ}_{t-1};{𝒌}_t,{𝒗}_t)=-⟨{ℳ}_{t-1}\left({𝒌}_t\right),{𝒗}_t⟩$ と定義されます。メモリキャッシング（GRM 変種）を使用すると、DLA の更新および検索プロセスは次のように定義されます。

$${ℳ}_t^{\left(s\right)}={ℳ}_{t-1}^{\left(s\right)}-{\eta }_t\nabla ℒ({ℳ}_{t-1}^{\left(s\right)};{𝒌}_t,{𝒗}_t),\text{for}1\le t\le L^{\left(s\right)},$$	(32)
$${𝐲}_t={\gamma }_t^{\left(s\right)}{ℳ}_t^{\left(s\right)}\left({𝐪}_t\right)+\sum _{i=1}^{s-1}{\gamma }_t^{\left(i\right)}{ℳ}_{L^{\left(i\right)}}^{\left(i\right)}\left({𝐪}_t\right).$$	(33)

同様に、式 14 または 式 17 を DLA の更新則（式 32 と同様）に置き換えることで、他のメモリキャッシング変種を導出できます。メモリモジュール $ℳ(\cdot )$ が行列である場合、上記の定式化は線形アテンション (Katharopoulos ら, 2020) と等価であることに留意してください。

タイタンズ (Titans)。 Titans では、DLA と比較して、アテンション・バイアス目的関数と内部オプティマイザの両方が異なります。具体的には、メモリモジュール $ℳ(\cdot )$ およびキー、バリュー、クエリ ${\left\{({𝒌}_t,{𝒗}_t,{𝒒}_t)\right\}}_{t=1}^L$ が与えられたとき、Titans の更新則と検索則は次のように定義されます。

$${ℳ}_t={\alpha }_t{ℳ}_{t-1}-{𝒮}_t,$$

(34)

ここで、アテンション・バイアス目的関数は ℒ(ℳ_t−1; k_t, v_t) = ‖ℳ_t−1(k_t) − v_t‖₂² と定義されます。メモリキャッシング（MC）を使用する場合、各セグメントのメモリ更新操作は 式 34 および 式 35 と同一ですが、メモリキャッシングを備えたタイタンズ（Titans）の検索プロセスは 式 33 と同一として定義されます。

対数線形++（Log-Linear++）変種。 最近、Guo ら（2025）は、線形 RNN の構造化行列定式化を活用し、フェニック木構造（Fenwick, 1994）に基づく階層型アルゴリズムである「対数線形アテンション」を設計しました。これは対数的に増大する隠れ状態の集合を可能にします。我々は本実験において、セグメンテーションが効率性と検索性能に及ぼす効果を示すためのベースラインとして対数線形アテンションを使用します。ただし、その定式化は セクション 3.1 で議論した位置バイアスや検索プロセスにおける文脈依存性の欠如という問題を抱えています。公平な比較のため、我々はこれを GRM を用いたメモリキャッシング変種として再定式化し、対数サイズのセグメント集合を採用することで改善を図りました。これを本実験では「Log-Linear++」と呼称します。セグメンテーション処理は セクション 4.2 で記述された処理と同一です。その他の構成要素は、我々の提供する他のメモリキャッシング変種と同一に保たれています。

トレーニング後適用としてのメモリキャッシング。 メモリキャッシングはモデルの事前トレーニング終了後にも適用可能です。推論時に各セグメント（例：トレーニングシーケンス長）後のメモリ状態をキャッシュし、デコーディング時には学習済み重みを持たない移動平均を使用します。実験結果によれば、この単純な手法でさえも、再帰型モデルの長さ方向への汎化能力を著しく向上させることが確認されています。

	S-NIAH-1			S-NIAH-2			S-NIAH-3
	（パスキー検索）			（干し草の山の中の数値）			（干し草の山の中の UUID）
モデル	4K	8K	16K	4K	8K	16K	4K	8K	16K
Transformer	88.6	76.4	79.8	100	98.8	94.2	78.0	69.2	40.8
DLA	96.4	71.2	44.0	79.6	42.6	28.2	18.2	8.8	4.0
+ Log-Linear++	100	96.2	70.4	87.6	70.4	18.0	28.8	20.4	6.0
+ GRM	100	100	82.4	94.6	82.8	54.8	48.2	34.4	18.2
+ Memory Soup	100	100	78.2	91.8	77.2	40.4	43.0	32.8	14.8
+ SSC	100	98.2	76.8	89.2	74.8	37.6	34.0	28.6	11.2
Titans (LMM)	100	100	100	99.6	84.6	75.4	74.2	42.8	21.2
+ Log-Linear++	100	100	100	95.6	88.4	74.8	76.0	48.4	24.2
+ GRM	100	100	100	99.8	96.6	88.2	89.4	69.0	32.2
+ Memory Soup	100	100	100	98.8	92.2	83.0	84.2	61.8	28.6
+ SSC	100	100	100	98.6	90.4	79.6	81.0	54.2	27.0

5 実験

次に、言語モデリング、常識推論、Needle-in-a-Haystack、および文脈内検索タスクにおいて、メモリキャッシングがモデル性能をいかに向上させるか評価します。

実験設定。 実験評価においては、主に Guo ら（2025）の方法論に従います。モデルのトレーニングには、{2K, 4K, 8K, 16K, 32K} のトレーニングコンテキストウィンドウサイズと、{16, 32, 64, 128, 256, 512} トークンのセグメント長を採用し、FineWeb データセット（Penedo ら、2024）および Long-Data-Collections（Together AI, 2024）の混合データを使用します。言語モデリングおよび常識推論タスク（表 1）では、デフォルトモデルはコンテキスト長 4K、セグメント長 256 でトレーニングされます。モデルサイズは 760M パラメータおよび 1.3B パラメータとし、FineWeb データセット（Penedo ら、2024）からサンプリングしたそれぞれ 300 億トークンおよび 1000 億トークンでトレーニングを行います。パープレキシティは保留検証データで測定されます。下流タスクとしては、Wikitext（Merity ら、2017）、LMB（Paperno ら、2016）、PIQA（Bisk ら、2020）、HellaSwag（Zellers ら、2019）、WinoGrande（Sakaguchi ら、2021）、ARC-easy（ARC-e）および ARC-challenge（ARC-c）（Clark ら、2018）、SIQA（Sap ら、2019）、BoolQ（Clark ら、2019）で評価します。Needle-in-a-haystack、文脈内検索、LongBench などの他の下流タスクでは、短文脈と長文脈におけるモデル性能をより明確に区別するため、16K コンテキスト長でモデルをトレーニングします。実験設定および使用データセットの詳細は 付録 B に記載しています。

5.1 言語モデリング

まず、学術規模の共通言語モデリングから始めます。SWLA、DLA、および Titans のメモリキャッシングあり/なしの結果を 表 1 に示します。ここから 3 つの知見が得られます。（1）DLA、Titans、SWLA を、それらのメモリキャッシング強化版と比較すると、すべてのメモリキャッシング変種が異なる下流タスクで一貫した性能向上をもたらし、平均的にもベースラインを上回ることが確認されました。これは、メモリ制約のあるモデルをさらに強化する上でメモリキャッシングが重要であることを示しています。（2）前述の通り、メモリキャッシングは（スパース）アテンションと再帰型モデルのハイブリッドと見なせます。メモリキャッシング強化モデルとアテンションベースモデル（ハイブリッドおよび Transformer）を比較すると、メモリキャッシングは再帰型モデルにおけるメモリ制限問題に対し、より強力な解決策を提供します。特に、Titans + MC および DLA + MC は、Titans 単体と比較して +0.8% の性能向上を達成しました。（3）MC の定数サイズセグメンテーションと Log-Linear++ 手法を比較すると、定数サイズセグメンテーション変種の方が良好な結果を示すことが観察されました。さらに、我々が提供する方法の中では GRM、次いで SSC が最良の結果を達成しました。この性能向上は、MC がモデルに提供する実効メモリ容量の増大に起因すると考えられます。

	SWDE				SQuAD				FDA
モデル	512	1024	2048	16k	512	1024	2048	16k	512	1024	2048	16k
Transformer	46.2	43.7	44.4	44.0	33.1	33.3	33.6	33.4	71.0	69.5	71.6	71.0
Titans (MAL)	51.9	48.6	48.3	48.5	28.3	29.2	29.1	28.8	71.1	73.9	72.1	71.7
DLA	44.5	39.9	32.7	32.5	23.8	24.0	23.8	24.1	55.6	40.2	25.9	23.3
+ Log-Linear++	43.7	37.7	30.4	30.6	27.8	27.8	27.9	28.3	55.1	39.6	22.3	18.9
+ GRM	52.4	48.9	48.7	48.5	29.5	30.7	30.7	30.1	63.3	51.6	48.9	41.5
+ Memory Soup	49.5	45.0	38.0	37.7	28.4	28.6	28.5	29.1	60.5	48.4	37.2	34.6
+ SSC	47.0	42.5	35.5	35.3	26.0	28.1	27.1	28.8	58.0	46.0	28.8	29.4
Titans (LMM)	43.2	34.4	29.2	29.7	25.7	26.2	26.3	25.6	59.3	45.5	35.4	32.5
+ Log-Linear++	48.0	41.4	37.2	37.0	27.2	27.3	27.2	27.1	67.0	55.5	41.2	32.4
+ GRM	52.6	49.3	49.5	50.1	29.7	30.4	31.5	32.0	72.9	68.7	61.1	52.6
+ Memory Soup	50.3	46.7	44.8	45.4	29.2	29.7	29.8	30.3	70.3	63.8	55.7	45.8
+ SSC	48.6	44.2	41.0	41.4	28.3	28.8	28.5	28.8	68.2	59.4	47.6	38.9
	TriviaQA				Drop				NQ			平均
モデル	512	1024	2048	16k	512	1024	2048	16k	512	1024	2048
Transformer	47.5	48.5	47.4	47.6	21.8	22.0	21.5	21.4	23.6	23.1	23.7	41.00
Titans (MAL)	44.8	45.1	44.6	44.8	20.6	20.5	20.8	20.9	22.1	22.4	22.5	40.46
DLA	43.3	44.2	43.5	43.2	20.1	19.9	20.6	20.0	19.7	18.4	18.5	30.51
+ Log-Linear++	43.7	44.8	43.6	43.8	20.3	20.2	20.8	20.2	19.9	18.8	21.0	30.75
+ GRM	50.1	47.3	44.8	50.0	21.9	21.8	22.0	21.7	23.5	23.3	23.4	38.03
+ Memory Soup	48.0	46.4	44.2	48.7	21.5	21.3	21.7	21.2	22.8	22.4	22.5	35.05
+ SSC	45.8	45.5	43.9	46.1	20.9	20.7	21.2	20.6	21.4	20.6	21.8	33.09
Titans (LMM)	44.2	44.7	43.9	44.5	20.2	20.1	20.3	20.6	20.1	19.5	19.1	31.75
+ Log-Linear++	44.5	44.9	44.1	44.7	20.4	20.4	20.5	20.7	21.5	19.8	20.4	34.37
+ GRM	50.2	47.5	45.3	50.9	21.7	21.8	21.9	21.5	23.7	23.4	23.3	40.50
+ Memory Soup	48.3	46.6	44.8	49.4	21.3	21.4	21.7	21.1	22.9	22.2	22.5	38.43
+ SSC	46.1	45.7	44.3	46.9	20.8	20.7	21.2	20.9	21.9	20.4	21.5	36.27

5.2 Needle-In-A-Haystack タスク

Needle-in-a-Haystack（NIAH）タスク（表 2）を用いて、MC が長文脈検索に与える影響を評価します。MC 強化版の DLA および Titans は、ベースラインモデルを一貫して上回ります。さらに、MC 変種は Log-Linear アプローチ、特に長文脈において顕著に優れています。Log-Linear が苦戦する理由は、単一メモリが非常に大きな初期セグメント（例：16K シーケンス中の 8K トークン）を圧縮することを強制されるのに対し、MC は圧縮負荷をより効果的に分散させるためです。

5.3 文脈内検索タスク

文脈内検索タスクは、再帰型ニューラルネットワークにとって最も困難なベンチマークの一つです。本セクションでは、Arora ら（2024b）に従い、SWDE（Lockard ら、2019）、NQ（Kwiatkowski ら、2019）、DROP（Dua ら、2019）、FDA（Arora ら、2023）、SQUAD（Rajpurkar ら、2016）、TQA（Kembhavi ら、2017）で実験を行い、MC 強化変種とベースラインおよび Transformer の性能比較を実施します。結果は 表 3 に示します。Transformer が依然として文脈内検索タスクで最高性能を達成する一方、我々の MC 変種は競争力のある性能を示し、Transformer との格差を埋め、最先端の再帰型モデルを上回る性能を発揮します。この性能向上も、シーケンス長に比例して拡張するメモリ容量の増大に起因すると考えています。

	Single-Doc QA			Multi-Doc QA			Summarization			Few-shot			Code
モデル	NQA	QQA	MFQ	HQA	2WM	Mus	GvR	QMS	MNs	TRC	TQA	SSM	LCC	RBP
Transformer	11.5	9.6	19.1	21.5	28.9	6.5	13.0	9.2	3.1	27.2	27.9	15.1	22.9	29.1
DLA	9.4	17.5	12.1	11.8	22.3	4.8	9.5	7.4	5.1	4.8	23.5	9.7	38.4	34.9
+ Log-Linear++	10.1	10.2	17.1	12.4	23.3	5.5	6.6	12.7	5.8	18.6	24.7	16.2	31.6	31.0
+ GRM	11.6	10.3	19.8	18.2	26.9	6.4	13.5	14.1	6.9	25.7	28.2	18.3	32.7	33.9

表 4（続き）：LongBench タスク（Bai ら、2024）における精度。NQA（NarrativeQA）、QQA（QasperQA）、MFQ（MultiFieldQA）、HQA（HotpotQA）、2WM（2WikiMultiQA）、Mus（Musique）、GvR（GovReport）、QMS（QMSum）、MNs（MultiNews）、TRC（TREC）、TQA（TriviaQA）、SSM（SamSum）、LCC、RBP（RepoBench-P）。

モデル	NQA	QQA	MFQ	HQA	2WM	Mus	GvR	QMS	MNs	TRC	TQA	SSM	LCC	RBP
+ Memory Soup	11.2	10.3	19.5	16.7	25.1	6.3	11.2	13.8	6.2	22.5	26.9	17.7	32.3	33.5
+ SSC	10.7	10.2	18.8	14.2	24.8	5.9	8.4	12.9	6.1	20.5	25.7	16.8	31.9	32.6
Titans (LMM)	8.7	12.5	18.4	15.6	26.1	6.7	10.5	12.6	11.8	37.1	26.2	24.5	31.3	31.4
+ Log-Linear++	9.6	8.9	19.3	18.7	26.9	6.8	6.7	12.9	2.8	11.2	42.7	25.0	29.5	29.7
+ GRM	11.8	9.4	19.9	21.4	29.1	7.2	8.4	13.3	3.1	14.8	49.7	25.5	31.0	32.8
+ Memory Soup	10.7	9.2	19.6	20.2	28.2	7.1	7.8	13.1	3.0	13.7	47.1	25.3	30.8	31.4
+ SSC	9.9	9.1	19.4	19.8	27.5	6.9	7.1	13.0	2.8	12.5	44.8	25.2	29.9	30.8

5.4 長文脈理解タスク

LongBench（Bai ら、2024）を用いて長文脈理解タスクにおける評価を行いました。結果は表 4 に示します。MC 強化変種はいずれも、ベースラインの RNN と比較して性能向上を示しており、これもメモリ容量の増大に起因するものと考えられます。

5.5 マルクエリ連想想起（MQAR）

本セクションでは、マルチクエリ連想想起（MQAR）タスク（Arora ら、2024a）において MC 強化変種の性能を評価します。結果は図 5 に示します。我々のモデルは、ベースラインの RNN および最先端の再帰型モデルと比較して良好な性能を示し、Atlas（Behrouz ら、2025a）などの最先端モデルと比較しても、次元値あたりの性能で最高を達成しています。

5.6 除去実験

次に、MC フレームワークにおける設計選択の効果を評価します。最初の選択は、γが入力のみの関数であるべきか、それともブロックの文脈にも依存すべきかです。結果は表 5 に示します。この設計選択は、平均して有意な改善を示しました。2 つ目の設計はゲーティングの除去です。ゲーティングがなければ、設計は残差メモリに退化しますが、この単純な設計でさえモデルの性能を向上させることが示されました。最後に、3 つ目の設計として線形メモリモジュールを使用しました。驚くべきことに、メモリキャッシュを使用することで、メモリ構造や表現力に対する性能の堅牢性が向上しました。

モデル	言語モデリング	C.S. 推論	検索
	ppl ↓	acc ↑	acc ↑
Titans (GRM)	13.3	58.3	40.5
- 文脈依存	13.4	57.4	33.0
- ゲーティング	13.5	56.9	32.4
- 線形メモリ	13.7	56.3	34.5
- 共有 u および q	00.0	00.0	00.0
Titans (SSC)	13.4	57.6	36.3
- 文脈依存	13.4	57.1	32.6
- ゲーティング	13.5	56.8	31.9
- 線形メモリ	13.8	56.8	33.4
- 共有 u および q	00.0	00.0	00.0

5.7 効率性

最後に、我々の変種とベースラインのトレーニングスループットを評価します。結果は図 4 に示します。我々の MC 変種は Transformer と RNN の中間に位置し、文脈長が増加するにつれて Transformer と比較して極めて効率的になります。これらの結果は、我々の SSC 変種が両者の利点を兼ね備えており、前述の多様な下流タスクにおいて他の変種と同等かそれ以上の性能を発揮しつつ、元のベースライン RNN 変種と比較しても最小限のオーバーヘッドしか追加しないことを示しています。さらに、より長いシーケンスにおいて著しく優れた効率性を示します。

6 結論

本論文では、すべての再帰型ニューラルネットワークに適用可能な単純な技術であるメモリキャッシング（MC）を提案しました。これはメモリ状態の一部をキャッシュし、後続のトークンが過去の関連するトークンに直接注意を向けることを可能にします。我々の実験は、ベースラインの一部に対して改善を示しました。本論文では、メモリキャッシングのアイデアの効果をより明確に示すために、結果として得られるモデルを可能な限りシンプルに保つための選択を多数行っています。しかしながら、今後の研究では、より表現力のあるプーリングやルーティングメカニズムを使用することで、さらに性能を向上させることができるでしょう。

参考文献

• [1] Z. Allen-Zhu. Physics of language models: part 4.1, architecture design and the magic of canon layers. The Thirty-ninth Annual Conference on Neural Information Processing Systems. 引用: 付録 A.
• S. Arora, S. Eyuboglu, A. Timalsina, I. Johnson, M. Poli, J. Zou, A. Rudra, and C. Re (2024a). Zoology: measuring and improving recall in efficient language models. The Twelfth International Conference on Learning Representations. 外部リンク: Link. 引用: §5.5.
• S. Arora, S. Eyuboglu, M. Zhang, A. Timalsina, S. Alberti, J. Zou, A. Rudra, and C. Re (2024b). Simple linear attention language models balance the recall-throughput tradeoff. Forty-first International Conference on Machine Learning. 外部リンク: Link. 引用: 付録 A, §1, §1, §5.3.
• S. Arora, B. Yang, S. Eyuboglu, A. Narayan, A. Hojel, I. Trummer, and C. Ré (2023). Language models enable simple systems for generating structured views of heterogeneous data lakes. arXiv preprint arXiv:2304.09433. 引用: §5.3.
• Y. Bai, X. Lv, J. Zhang, H. Lyu, J. Tang, Z. Huang, Z. Du, X. Liu, A. Zeng, L. Hou, Y. Dong, J. Tang, and J. Li (2024). LongBench: a bilingual, multitask benchmark for long context understanding. ACL (1), pp. 3119–3137. 外部リンク: Link. 引用: §5.4, 表 4.
• A. Behrouz, Z. Li, P. Kacham, M. Daliri, Y. Deng, P. Zhong, M. Razaviyayn, and V. Mirrokni (2025a). Atlas: learning to optimally memorize the context at test time. arXiv preprint arXiv:2505.23735. 引用: 付録 A, 付録 A, 3 アイテム目, §3.1, §4.3, §4.3, §5.5.
• A. Behrouz, M. Razaviyayn, P. Zhong, and V. Mirrokni (2025b). Nested learning: the illusion of deep learning architectures. The Thirty-ninth Annual Conference on Neural Information Processing Systems. 外部リンク: Link. 引用: 付録 A, §2, §2, 脚注 1.
• A. Behrouz, M. Razaviyayn, P. Zhong, and V. Mirrokni (2026). It's all connected: a journey through test-time memorization, attentional bias, retention, and online optimization. The Fourteenth International Conference on Learning Representations. 外部リンク: Link. 引用: 付録 A, 付録 A, 付録 A, 付録 B, §1, §2, §2, §2, 脚注 1.
• A. Behrouz, P. Zhong, and V. Mirrokni (2025c). Titans: learning to memorize at test time. The Thirty-ninth Annual Conference on Neural Information Processing Systems. 外部リンク: Link. 引用: 付録 A, 付録 B, 3 アイテム目, §1, §4.3.
• A. Bietti, V. Cabannes, D. Bouchacourt, H. Jegou, and L. Bottou (2023). Birth of a transformer: a memory viewpoint. Advances in Neural Information Processing Systems 36, pp. 1560–1588. 引用: §2.
• A. Bietti, V. Cabannes, D. Bouchacourt, H. Jegou, and L. Bottou (2024). Birth of a transformer: a memory viewpoint. Advances in Neural Information Processing Systems 36. 引用: §1.
• Y. Bisk, R. Zellers, J. Gao, Y. Choi, et al. (2020). Piqa: reasoning about physical commonsense in natural language. Proceedings of the AAAI conference on artificial intelligence, Vol. 34, pp. 7432–7439. 引用: 付録 B, §5.
• T. Brown, B. Mann, N. Ryder, M. Subbiah, J. D. Kaplan, P. Dhariwal, A. Neelakantan, P. Shyam, G. Sastry, A. Askell, et al. (2020). Language models are few-shot learners. Advances in neural information processing systems 33, pp. 1877–1901. 引用: §1.
• R. Child, S. Gray, A. Radford, and I. Sutskever (2019). Generating long sequences with sparse transformers. arXiv preprint arXiv:1904.10509. 引用: §1.
• C. Clark, K. Lee, M. Chang, T. Kwiatkowski, M. Collins, and K. Toutanova (2019). BoolQ: exploring the surprising difficulty of natural yes/no questions. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), J. Burstein, C. Doran, and T. Solorio (Eds.), Minneapolis, Minnesota, pp. 2924–2936. 外部リンク: Link, Document. 引用: 付録 B, §5.
• P. Clark, I. Cowhey, O. Etzioni, T. Khot, A. Sabharwal, C. Schoenick, and O. Tafjord (2018). Think you have solved question answering? try arc, the ai2 reasoning challenge. arXiv preprint arXiv:1803.05457. 引用: 付録 B, §5.
• G. Comanici, E. Bieber, M. Schaekermann, I. Pasupat, N. Sachdeva, I. Dhillon, M. Blistein, O. Ram, D. Zhang, E. Rosen, et al. (2025). Gemini 2.5: pushing the frontier with advanced reasoning, multimodality, long context, and next generation agentic capabilities. arXiv preprint arXiv:2507.06261. 引用: §1.
• R. Csordás, C. Potts, C. D. Manning, and A. Geiger (2024). Recurrent neural networks learn to store and generate sequences using non-linear representations. Proceedings of the 7th BlackboxNLP Workshop: Analyzing and Interpreting Neural Networks for NLP, pp. 248–262. 引用: 付録 A.
• Z. Dai, Z. Yang, Y. Yang, J. G. Carbonell, Q. V. Le, and R. Salakhutdinov (2019). Transformer-xl: attentive language models beyond a fixed-length context. ACL (1), A. Korhonen, D. R. Traum, and L. Màrquez (Eds.), pp. 2978–2988. 外部リンク: ISBN 978-1-950737-48-2. 引用: §1.
• T. Dao, B. Chen, N. S. Sohoni, A. Desai, M. Poli, J. Grogan, A. Liu, A. Rao, A. Rudra, and C. Ré (2022). Monarch: expressive structured matrices for efficient and accurate training. International Conference on Machine Learning, pp. 4690–4721. 引用: 付録 A.
• T. Dao, A. Gu, M. Eichhorn, A. Rudra, and C. Ré (2019). Learning fast algorithms for linear transforms using butterfly factorizations. International conference on machine learning, pp. 1517–1527. 引用: 付録 A.
• A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani, M. Minderer, G. Heigold, S. Gelly, J. Uszkoreit, and N. Houlsby (2021). An image is worth 16x16 words: transformers for image recognition at scale. International Conference on Learning Representations. 外部リンク: Link. 引用: §1.
• D. Dua, Y. Wang, P. Dasigi, G. Stanovsky, S. Singh, and M. Gardner (2019). DROP: a reading comprehension benchmark requiring discrete reasoning over paragraphs. arXiv preprint arXiv:1903.00161. 引用: §5.3.
• P. M. Fenwick (1994). A new data structure for cumulative frequency tables. Software: Practice and experience 24 (3), pp. 327–336. 引用: §4.3.
• X. Gonzalez, A. Warrington, J. Smith, and S. Linderman (2024). Towards scalable and stable parallelization of nonlinear rnns. Advances in Neural Information Processing Systems 37, pp. 5817–5849. 引用: 付録 A.
• H. Guo, S. Yang, T. Goel, E. P. Xing, T. Dao, and Y. Kim (2025). Log-linear attention. arXiv preprint arXiv:2506.04761. 引用: 付録 A, 付録 B, §4.3, §5.
• D. O. Hebb (2005). The organization of behavior: a neuropsychological theory. Psychology press. 引用: 付録 A.
• D. Hendrycks and K. Gimpel (2016). Gaussian error linear units (gelus). arXiv preprint arXiv:1606.08415. 引用: 付録 B.
• J. J. Hopfield (1982). Neural networks and physical systems with emergent collective computational abilities.. Proceedings of the national academy of sciences 79 (8), pp. 2554–2558. 引用: 付録 A, 付録 A.
• J. Y. Hu, D. Wu, and H. Liu (2024). Provably optimal memory capacity for modern hopfield models: transformer-compatible dense associative memories as spherical codes. arXiv preprint arXiv:2410.23126. 引用: 付録 A.
• J. Hu, Y. Pan, J. Du, D. Lan, X. Tang, Q. Wen, Y. Liang, and W. Sun (2025). Improving bilinear RNN with closed-loop control. The Thirty-ninth Annual Conference on Neural Information Processing Systems. 外部リンク: Link. 引用: 付録 A.
• Y. Huang, J. Zhang, Z. Shan, and J. He (2024). Compression represents intelligence linearly. First Conference on Language Modeling. 外部リンク: Link. 引用: §1.
• K. Irie, I. Schlag, R. Csordas, and J. Schmidhuber (2021). Going beyond linear transformers with recurrent fast weight programmers. Advances in neural information processing systems 34, pp. 7703–7717. 引用: 付録 A, §1.
• K. Irie, I. Schlag, R. Csordás, and J. Schmidhuber (2022). A modern self-referential weight matrix that learns to modify itself. International Conference on Machine Learning, pp. 9660–9677. 引用: §1.
• K. Jordan, Y. Jin, V. Boza, Y. Jiacheng, F. Cecista, L. Newhouse, and J. Bernstein (2024). Muon: an optimizer for hidden layers in neural networks, 2024b. URL https://kellerjordan.github.io/posts/muon. 引用: 付録 A.
• J. Jumper, R. Evans, A. Pritzel, T. Green, M. Figurnov, O. Ronneberger, K. Tunyasuvunakool, R. Bates, A. Žídek, A. Potapenko, et al. (2021). Highly accurate protein structure prediction with alphafold. nature 596 (7873), pp. 583–589. 引用: §1.
• Y. Kang, G. Tran, and H. De Sterck (2023). Fast multipole attention: a divide-and-conquer attention mechanism for long sequences. arXiv preprint arXiv:2310.11960. 引用: 付録 A.
• J. Kaplan, S. McCandlish, T. Henighan, T. B. Brown, B. Chess, R. Child, S. Gray, A. Radford, J. Wu, and D. Amodei (2020). Scaling laws for neural language models. arXiv preprint arXiv:2001.08361. 引用: §1.
• M. Karami and V. Mirrokni (2025). Lattice: learning to efficiently compress the memory. 引用: 付録 A.
• A. Katharopoulos, A. Vyas, N. Pappas, and F. Fleuret (2020). Transformers are rnns: fast autoregressive transformers with linear attention. International conference on machine learning, pp. 5156–5165. 引用: 付録 A, 3 アイテム目, §1, §2, §2, §2, §3.1, §3, §4.1, §4.3, §4.3, §4.3.
• A. Kembhavi, M. Seo, D. Schwenk, J. Choi, A. Farhadi, and H. Hajishirzi (2017). Are you smarter than a sixth grader? textbook question answering for multimodal machine comprehension. Proceedings of the IEEE Conference on Computer Vision and Pattern recognition, pp. 4999–5007. 引用: §5.3.
• N. Kitaev, Ł. Kaiser, and A. Levskaya (2020). Reformer: the efficient transformer. arXiv preprint arXiv:2001.04451. 引用: 付録 A.
• D. Krotov and J. J. Hopfield (2016). Dense associative memory for pattern recognition. Advances in neural information processing systems 29. 引用: 付録 A.
• D. Krotov (2021). Hierarchical associative memory. arXiv preprint arXiv:2107.06446. 引用: 付録 A.
• Y. Kuratov, A. Bulatov, P. Anokhin, I. Rodkin, D. I. Sorokin, A. Sorokin, and M. Burtsev (2024). BABILong: testing the limits of LLMs with long context reasoning-in-a-haystack. The Thirty-eight Conference on Neural Information Processing Systems Datasets and Benchmarks Track. 外部リンク: Link. 引用: §1.
• T. Kwiatkowski, J. Palomaki, O. Redfield, M. Collins, A. Parikh, C. Alberti, D. Epstein, I. Polosukhin, J. Devlin, K. Lee, et al. (2019). Natural questions: a benchmark for question answering research. Transactions of the Association for Computational Linguistics 7, pp. 453–466. 引用: §5.3.
• A. Li, B. Gong, B. Yang, B. Shan, C. Liu, C. Zhu, C. Zhang, C. Guo, D. Chen, D. Li, et al. (2025). Minimax-01: scaling foundation models with lightning attention. arXiv preprint arXiv:2501.08313. 引用: 付録 A, §4.3.
• S. Li, X. Jin, Y. Xuan, X. Zhou, W. Chen, Y. Wang, and X. Yan (2019). Enhancing the locality and breaking the memory bottleneck of transformer on time series forecasting. Advances in neural information processing systems 32. 引用: 付録 A.
• X. Li, Y. Li, Y. Liang, Z. Shi, and Z. Song (2024). On the expressive power of modern hopfield networks. arXiv preprint arXiv:2412.05562. 引用: 付録 A.
• Y. H. Lim, Q. Zhu, J. Selfridge, and M. F. Kasim (2024). Parallelizing non-linear sequential models over the sequence length. The Twelfth International Conference on Learning Representations. 外部リンク: Link. 引用: 付録 A.
• B. Liu, R. Wang, L. Wu, Y. Feng, P. Stone, and Q. Liu (2024). Longhorn: state space models are amortized online learners. arXiv preprint arXiv:2407.14207. 引用: 付録 A.
• C. Lockard, P. Shiralkar, and X. L. Dong (2019). Openceres: when open information extraction meets the semi-structured web. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3047–3056. 引用: §5.3.
• E. Lu, Z. Jiang, J. Liu, Y. Du, T. Jiang, C. Hong, S. Liu, W. He, E. Yuan, Y. Wang, Z. Huang, H. Yuan, S. Xu, X. Xu, G. Lai, Y. Chen, H. Zheng, J. Yan, J. Su, Y. Wu, Y. Zhang, Z. Yang, X. Zhou, M. Zhang, and J. Qiu (2025). MoBA: mixture of block attention for long-context LLMs. The Thirty-ninth Annual Conference on Neural Information Processing Systems. 外部リンク: Link. 引用: 付録 A.
• C. Lucibello and M. Mézard (2024). Exponential capacity of dense associative memories. Physical Review Letters 132 (7), pp. 077301. 引用: 付録 A.
• S. Merity, C. Xiong, J. Bradbury, and R. Socher (2017). Pointer sentinel mixture models. International Conference on Learning Representations. 外部リンク: Link. 引用: 付録 B, §5.
• W. Merrill, J. Petty, and A. Sabharwal (2024). The illusion of state in state-space models. Forty-first International Conference on Machine Learning. 外部リンク: Link. 引用: 付録 A, §1.
• T. Munkhdalai, M. Faruqui, and S. Gopal (2024). Leave no context behind: efficient infinite context transformers with infini-attention. arXiv preprint arXiv:2404.07143. 引用: 付録 A.
• T. Munkhdalai, A. Sordoni, T. Wang, and A. Trischler (2019). Metalearned neural memory. Advances in Neural Information Processing Systems 32. 引用: 付録 A.
• T. Munkhdalai and H. Yu (2017). Neural semantic encoders. Proceedings of the conference. Association for Computational Linguistics. Meeting, Vol. 1, pp. 397. 引用: 付録 A.
• T. Nguyen, V. Suliafu, S. Osher, L. Chen, and B. Wang (2021). Fmmformer: efficient and flexible transformer via decomposed near-field and far-field attention. Advances in neural information processing systems 34, pp. 29449–29463. 引用: 付録 A.
• D. Paperno, G. Kruszewski, A. Lazaridou, N. Q. Pham, R. Bernardi, S. Pezzelle, M. Baroni, G. Boleda, and R. Fernandez (2016). The LAMBADA dataset: word prediction requiring a broad discourse context. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), K. Erk and N. A. Smith (Eds.), Berlin, Germany, pp. 1525–1534. 外部リンク: Link, Document. 引用: 付録 B, §5.
• Y. Park, M. Seo, and H. Jeon (2025). VideoTitans: scalable video prediction with integrated short- and long-term memory. The Thirty-ninth Annual Conference on Neural Information Processing Systems. 外部リンク: Link. 引用: §1.
• G. Penedo, H. Kydlíček, A. Lozhkov, M. Mitchell, C. A. Raffel, L. Von Werra, T. Wolf, et al. (2024). The fineweb datasets: decanting the web for the finest text data at scale. Advances in Neural Information Processing Systems 37, pp. 30811–30849. 引用: §5.
• B. Peng, E. Alcaide, Q. G. Anthony, A. Albalak, S. Arcadinho, S. Biderman, H. Cao, X. Cheng, M. N. Chung, L. Derczynski, X. Du, M. Grella, K. K. GV, X. He, H. Hou, P. Kazienko, J. Kocon, J. Kong, B. Koptyra, H. Lau, J. Lin, K. S. I. Mantri, F. Mom, A. Saito, G. Song, X. Tang, J. S. Wind, S. Wozniak, Z. Zhang, Q. Zhou, J. Zhu, and R. Zhu (2023). RWKV: reinventing RNNs for the transformer era. The 2023 Conference on Empirical Methods in Natural Language Processing. 外部リンク: Link. 引用: 付録 A, §2.

要約

本セグメントでは、MC 強化モデルが LongBench を用いた長文脈理解タスクにおいて、ベースラインの RNN を一貫して上回る性能を発揮することを示しました。さらに、MQAR タスクや除去実験を通じて、MC の各設計選択（文脈依存性、ゲーティング、線形メモリなど）が性能向上に寄与していることを実証しました。最後に、MC 変種、特に SSC が Transformer と RNN の利点を兼ね備え、長いシーケンスにおいて高い効率性と堅牢な性能を両立させることを確認しました。

• B. Peng, D. Goldstein, Q. Anthony, A. Albalak, E. Alcaide, S. Biderman, E. Cheah, X. Du, T. Ferdinan, H. Hou, et al. (2024). Eagle and finch: rwkv with matrix-valued states and dynamic recurrence. arXiv preprint arXiv:2404.05892. 引用: 付録 A.
• M. Poli, S. Massaroli, E. Nguyen, D. Y. Fu, T. Dao, S. Baccus, Y. Bengio, S. Ermon, and C. Ré (2023). Hyena hierarchy: towards larger convolutional language models. International Conference on Machine Learning, pp. 28043–28078. 引用: §1.
• D. Prados and S. Kak (1989). Neural network capacity using delta rule. Electronics Letters 25 (3), pp. 197–199. 引用: 付録 A.
• S. Qiu, A. Potapczynski, M. Finzi, M. Goldblum, and A. G. Wilson (2024). Compute better spent: replacing dense layers with structured matrices. arXiv preprint arXiv:2406.06248. 引用: 付録 A.
• P. Rajpurkar, J. Zhang, K. Lopyrev, and P. Liang (2016). Squad: 100,000+ questions for machine comprehension of text. arXiv preprint arXiv:1606.05250. 引用: §5.3.
• H. Ramsauer, B. Schäfl, J. Lehner, P. Seidl, M. Widrich, L. Gruber, M. Holzleitner, T. Adler, D. Kreil, M. K. Kopp, G. Klambauer, J. Brandstetter, and S. Hochreiter (2021). Hopfield networks is all you need. International Conference on Learning Representations. 外部リンク: Link. 引用: 付録 A, §1.
• L. Ren, Y. Liu, Y. Lu, Y. Shen, C. Liang, and W. Chen (2024). Samba: simple hybrid state space models for efficient unlimited context language modeling. arXiv preprint arXiv:2406.07522. 引用: 表 1.
• K. Sakaguchi, R. L. Bras, C. Bhagavatula, and Y. Choi (2021). Winogrande: an adversarial winograd schema challenge at scale. Communications of the ACM 64 (9), pp. 99–106. 引用: 付録 B, §5.
• M. Sap, H. Rashkin, D. Chen, R. Le Bras, and Y. Choi (2019). Social IQa: commonsense reasoning about social interactions. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), K. Inui, J. Jiang, V. Ng, and X. Wan (Eds.), Hong Kong, China, pp. 4463–4473. 外部リンク: Link, Document. 引用: 付録 B, §5.
• I. Schlag, K. Irie, and J. Schmidhuber (2021). Linear transformers are secretly fast weight programmers. International Conference on Machine Learning, pp. 9355–9366. 引用: 付録 A, 付録 A, §2.
• J. Schmidhuber (1992). Learning to control fast-weight memories: an alternative to recurrent nets. accepted for publication in. Neural Computation. 引用: 付録 A, 付録 A.
• J. Schmidhuber (1993). Reducing the ratio between learning complexity and number of time varying variables in fully recurrent nets. ICANN'93: Proceedings of the International Conference on Artificial Neural Networks Amsterdam, The Netherlands 13–16 September 1993 3, pp. 460–463. 引用: 付録 A.
• M. Schöne, B. Rahmani, H. Kremer, F. Falck, H. Ballani, and J. Gladrow (2025). Implicit language models are rnns: balancing parallelization and expressivity. arXiv preprint arXiv:2502.07827. 引用: 付録 A.
• N. Shazeer, *. Mirhoseini, *. Maziarz, A. Davis, Q. Le, G. Hinton, and J. Dean (2017). Outrageously large neural networks: the sparsely-gated mixture-of-experts layer. International Conference on Learning Representations. 外部リンク: Link. 引用: §3.3.
• J. Siems, T. Carstensen, A. Zela, F. Hutter, M. Pontil, and R. Grazzi (2025). DeltaProduct: increasing the expressivity of deltanet through products of householders. arXiv preprint arXiv:2502.10297. 引用: 付録 A.
• J. T.H. Smith, A. Warrington, and S. Linderman (2023). Simplified state space layers for sequence modeling. The Eleventh International Conference on Learning Representations. 外部リンク: Link. 引用: 付録 A.
• Y. Sun, X. Li, K. Dalal, J. Xu, A. Vikram, G. Zhang, Y. Dubois, X. Chen, X. Wang, S. Koyejo, et al. (2024). Learning to (learn at test time): rnns with expressive hidden states. arXiv preprint arXiv:2407.04620. 引用: 付録 A, 付録 A.
• Y. Sun, L. Dong, S. Huang, S. Ma, Y. Xia, J. Xue, J. Wang, and F. Wei (2023). Retentive network: a successor to transformer for large language models. arXiv preprint arXiv:2307.08621. 引用: 付録 A, §1, §4.3.
• M. Tiezzi, M. Casoni, A. Betti, T. Guidi, M. Gori, and S. Melacci (2024). On the resurgence of recurrent models for long sequences: survey and research opportunities in the transformer era. arXiv preprint arXiv:2402.08132. 引用: 付録 A.
• Together AI (2024). Long data collections. 外部リンク: Link. 引用: §5.
• A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, Ł. Kaiser, and I. Polosukhin (2017). Attention is all you need. Advances in Neural Information Processing Systems, I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett (Eds.), Vol. 30. 外部リンク: Link. 引用: §1, §2.
• J. Von Oswald, M. Schlegel, A. Meulemans, S. Kobayashi, E. Niklasson, N. Zucchet, N. Scherrer, N. Miller, M. Sandler, M. Vladymyrov, et al. (2023). Uncovering mesa-optimization algorithms in transformers. arXiv preprint arXiv:2309.05858. 引用: 付録 A.
• K. A. Wang, J. Shi, and E. B. Fox (2025). Test-time regression: a unifying framework for designing sequence models with associative memory. arXiv preprint arXiv:2501.12352. 引用: 付録 A, §2, §2.
• M. Wortsman, G. Ilharco, S. Y. Gadre, R. Roelofs, R. Gontijo-Lopes, A. S. Morcos, H. Namkoong, A. Farhadi, Y. Carmon, S. Kornblith, et al. (2022). Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time. International conference on machine learning, pp. 23965–23998. 引用: §3.2.
• S. Yang, J. Kautz, and A. Hatamizadeh (2024a). Gated delta networks: improving mamba2 with delta rule. arXiv preprint arXiv:2412.06464. 引用: 付録 A, 付録 A, 付録 B.
• S. Yang, B. Wang, Y. Shen, R. Panda, and Y. Kim (2024b). Gated linear attention transformers with hardware-efficient training. Forty-first International Conference on Machine Learning. 外部リンク: Link. 引用: 付録 A, §2.
• S. Yang, B. Wang, Y. Zhang, Y. Shen, and Y. Kim (2024c). Parallelizing linear transformers with the delta rule over sequence length. Advances in Neural Information Processing Systems 37, pp. 115491–115522. 引用: 付録 A, 付録 A.
• R. Zellers, A. Holtzman, Y. Bisk, A. Farhadi, and Y. Choi (2019). HellaSwag: can a machine really finish your sentence?. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, A. Korhonen, D. Traum, and L. Marquez (Eds.), Florence, Italy, pp. 4791–4800. 外部リンク: Link, Document. 引用: 付録 B, §5.
• Z. Zeng, S. Pal, J. Kline, G. M. Fung, and V. Singh (2022). Multi resolution analysis (mra) for approximate self-attention. International conference on machine learning, pp. 25955–25972. 引用: 付録 A.
• T. Zhang, S. Bi, Y. Hong, K. Zhang, F. Luan, S. Yang, K. Sunkavalli, W. Freeman, and H. Tan (2025). Test-time training done right. arXiv preprint arXiv:2505.23884. 引用: 付録 A, 付録 B.
• H. Zhou, S. Zhang, J. Peng, S. Zhang, J. Li, H. Xiong, and W. Zhang (2021). Informer: beyond efficient transformer for long sequence time-series forecasting. Proceedings of the AAAI conference on artificial intelligence, Vol. 35, pp. 11106–11115. 引用: 付録 A.

付録 A 関連研究

線形メモリモジュール。近年の研究動向は、複雑な問題解決における Transformer の二次計算量、コンテキスト長の制限、および表現力の限界を緩和することに焦点を当てており、より高速な推論と学習を可能にする効率的なリカレント（再帰型）代替モデルの開発を促進してきました（Tiezzi et al., 2024）。具体的には、Katharopoulos et al. (2020) は、アテンション計算における softmax を分離可能なカーネルに置き換えることで、線形アテンション定式化が再帰計算を可能にすることを示しました。この洞察に基づき、線形アテンションの性能を向上させ、二次的な Transformer とのギャップを埋めることに注力する研究が多数行われています。これに関連し、RetNet（Sun et al., 2023）、RWKV（Peng et al., 2023）、Lightning Attention（Li et al., 2025）、S5（Smith et al., 2023）などは、線形アテンションの定式化に忘却ゲート機構を導入しました。その後、他の研究では、既存の忘却ゲートを入力依存型にすることで、より選択的な忘却を必要とするタスクに適応させています（Yang et al., 2024b; Peng et al., 2024）。並行して、Schlag et al. (2021) は、線形アテンションモデルのメモリ管理を改善するため、デルタルール（Delta-rule）に基づくリカレントニューラルネットワーク（RNN）の再帰に対する代替学習更新則である DeltaNet を提案しました。後に、いくつかの研究がこのデルタ更新則を訓練するための異なるアルゴリズムを設計しました（Yang et al., 2024c; Sun et al., 2024; Liu et al., 2024）。さらに、忘却ゲート、学習アルゴリズム、訓練アルゴリズムの設計からなるこれらの既存技術を組み合わせることで、近年では線形アテンションモジュールのさまざまな変種が設計されています（Yang et al., 2024a; c; a; Allen-Zhu; Liu et al., 2024）。より最近では、Siems et al. (2025) が、1 トークンあたりの更新を複数回適用することでデルタルールモデルを強化し、より表現力豊かな状態追跡機能を実現しました。線形リカレントモデルを超えたところでは、非線形再帰を持ちながら線形行列値メモリを持つ RNN を調査する研究もいくつか存在し（Csordás et al., 2024; Merrill et al., 2024; Lim et al., 2024; Behrouz et al., 2026; 2025a; Schöne et al., 2025; Karami and Mirrokni, 2025; Von Oswald et al., 2023; Gonzalez et al., 2024; Hu et al., 2025）、特にその訓練の高速化に重点が置かれています（Gonzalez et al., 2024; Lim et al., 2024; Schöne et al., 2025）。

ディープメモリモジュール。別の研究の流れは、メモリモジュールの容量を強化し、その学習更新則を改善することに焦点を当てています。Sun et al. (2024) は、L₂-回帰損失に基づいて重みを更新するファストウェイトプログラム（Schmidhuber, 1992）である TTT レイヤーを提案しました。Sun et al. (2024) は、アテンションと単純な線形アテンションが TTT レイヤーの一例であることを指摘しましたが、他のリカレントニューラルネットワークは TTT レイヤーの範疇から外れると論じています。これは主に、それらがTTT レイヤーの定義である内部 L₂-回帰損失を用いて正確に復元できないためです。Titans（Behrouz et al., 2025c）は、より複雑な最適化アルゴリズムを組み込み、勾配降下法をそれらに置き換えることを提案しています。概念実証として、Titans は内部のL₂-回帰損失を最適化するために、モーメンタムと重み減衰を伴う勾配降下法を使用します。TTT レイヤーの定式化（つまり、内部L₂-回帰損失の最適化）に基づき、Wang et al. (2025) は、L₂-回帰損失をいかに近似し、それによって他の現代的なリカレントニューラルネットワークを近似的に復元できるかを示しました。この洞察に基づき、Wang et al. (2025) は、標準的な softmax アテンションよりも高い表現力を持つ高次アテンション変種を提示しました。同時に、Behrouz et al. (2026) は「テスト時メモライゼーション（TTM）」フレームワークを提示しました。これは、任意の目的関数に基づいて内部的にマッピングを学習する連想メモリ（associative memory）の概念に基づき、アーキテクチャを正確に復元するものです。実際、内部モデルをL₂-回帰損失に制限する TTT レイヤー（Sun et al., 2024）とは対照的に、TTM は連想メモリの概念に基づき、以下の 4 つの設計選択からアーキテクチャを設計することを提案しています：(1) メモリのアーキテクチャ、(2) 内部目的関数、(3) 内部保持ゲート、および (4) 内部最適化アルゴリズムです。

この方向性、すなわち内部ループのための新しい目的関数と最適化アルゴリズムの選択が、より表現力豊かなアーキテクチャの開発につながるという事実（Behrouz et al., 2026）に従い、内部目的関数を変化させることで新しい世代のアーキテクチャが生まれています。Moneta と Yaad はそれぞれ、L₂-回帰損失をそれぞれL_pおよび Huber 損失に置き換えました。Atlas（Behrouz et al., 2025a）は Omega 学習則を組み込んでおり、最後のトークンに対してメモリを更新するのではなく、過去のデータのローカルなコンテキストに対してメモリを更新します。また、内部最適化として Muon（Jordan et al., 2024）の使用も提案しています。Zhang et al. (2025) は、L₂-回帰損失をドット積類似度に置き換え、より効率的な訓練のために大きなチャンクサイズの使用を提案しました。最近では、機械学習モデルの長期的メモリをさらに改善するため、Behrouz et al. (2025b) は Continuum Memory System (CMS) を提示しました。これは、アテンションブロックを置き換えるのではなく、Transformer 内の単一の静的 MLP ブロックを、タスクに応じて独自の周波数でエンドツーエンドに更新される複数の MLP ブロックに置き換えることを提案するものです（MLP ブロックと同様の方法です）。アテンションと複数の動的 MLP ブロックのシーケンスからなるこのアーキテクチャは Hope-attention と呼ばれ、単純な Transformer よりも優れた長文脈理解能力を示しています。

ファストウェイトプログラムとメタ学習。線形レイヤーをキー値の連想メモリシステムとして捉える視点は、ホップフィールドネットワーク（Hopfield, 1982）にまでさかのぼります。この考え方はその後、動的なファストプログラムをリカレントニューラルネットワークに統合して書き込み可能なメモリストレージとして機能させるファストウェイトプログラマーの開発を通じて拡張されました（Schlag et al., 2021; Schmidhuber, 1992; 1993）。かかるシステムの学習パラダイムとしては、ヘッビアン学習（Hebb, 2005）とデルタルール（Prados and Kak, 1989）が最も顕著です。これら 2 つの法則は文献において広範に研究されてきました（Munkhdalai and Yu, 2017; Schmidhuber, 1992; Munkhdalai et al., 2019; Schlag et al., 2021; Irie et al., 2021; Yang et al., 2024c; a）。

ホップフィールドネットワーク。我々の定式化は、キーと値のマッピングを学習することを目的とする連想メモリの広範な概念に基づいています。Hopfield (1982) による画期的な研究は、キー値ペアの保存のためにエネルギー関数の最小化によって形式化された、連想メモリに明示的に基づく最も初期のニューラルアーキテクチャの一つとしてホップフィールドネットワークを導入しました。古典的なホップフィールドネットワークは、ベクトル値メモリの容量制限とエネルギー関数の構造上の限界により、その適用性は低下していましたが、近年の研究では、さまざまなアプローチを通じてその容量を強化しようとする試みがなされています（Krotov, 2021; Li et al., 2024; Krotov and Hopfield, 2016）。特に、指数関数的カーネルを用いたエネルギー関数の拡張が探求されてきました（Krotov and Hopfield, 2016; Lucibello and Mézard, 2024）。さらに、現代的なホップフィールドネットワークと Transformer アーキテクチャとの関連性も精力的に調査されています（Ramsauer et al., 2021; Hu et al., 2024）。

効率的なアテンション機構。リカレントアーキテクチャに加えて、最近の研究では、トークン混合およびチャネル混合レイヤーの効率を向上させるために構造化行列を使用することが提案されています。例えば、Butterfly 行列（Dao et al., 2019）、Monarch 行列（Dao et al., 2022）、および Block Tensor-Train 行列（Qiu et al., 2024）は、密な射影の計算負荷を軽減する、コンパクトでありながら表現力豊かなパラメータ化を提供します。他のアプローチとしては、スライディングウィンドウアテンションや、局所的な再帰と選択的な長距離接続を組み合わせたモデルなど、スパースまたはハイブリッドなアテンション機構の設計があります（Nguyen et al., 2021; Arora et al., 2024b; Munkhdalai et al., 2024）。別のアプローチ群は、アテンションの二次計算量をほぼ対数線形時間に削減するものです。古典的な例としては、クエリとキーをクラスタリングするために局所性敏感ハッシュを使用する Reformer（Kitaev et al., 2020）や、長系列および時系列タスクにおける効率化のために構造化スパースパターンに依存する LogSparse Transformer（Li et al., 2019）および Informer（Zhou et al., 2021）があります。その後の研究では、粗いレベルから細かいレベルへとアテンスコアを段階的に洗練させる多解像度アテンション（Zeng et al., 2022）や、スケーラブルな長距離相互作用のために高速多重極法を適応させた Fast Multipole Attention（Kang et al., 2023）など、より精巧な設計が導入されました。別の研究グループは、ブロック単位またはトークン単位のスパースアテンションモジュールに焦点を当てています。具体的には、Lu et al. (2025) は、シーケンスをチャンクに分割し、シーケンス次元で MoE（専門家の混合）を実行することを提案する MoBA を提示しました。この設計はアテンションモジュールに基づいているだけでなく、アテンションの計算がブロックごとおよびトークンごとにその場で（ad-hoc）行われる我々の MoE とは根本的に異なります。我々の手法では、メモリ状態が事前計算されており、その場での計算は不要です。最近、Guo et al. (2025) は、フェニック木の分割によって構成される対数的に成長する隠れ状態のセットで線形アテンションを拡張するフレームワークである Log-Linear Attention を導入しました。この設計は、ハードウェアに効率的な並列化を維持しつつ、$𝒪\left(L\log L\right)$ の訓練計算量と$𝒪\left(\log L\right)$ のデコードメモリを実現します。

モデル	ブロック	次元	ヘッド	ピーク学習率	トークン数
760M	24	1536	16	1.25e-3	30B
1.3B	18	2048	8	7e-4	100B

付録 B 実験の詳細

我々の実験設定では、リカレントモデルに関する最近の研究（Yang et al., 2024a; Behrouz et al., 2025c; 2026; Zhang et al., 2025; Guo et al., 2025）に従い、Wikitext（Merity et al., 2017）、LMB（Paperno et al., 2016）、PIQA（Bisk et al., 2020）、HellaSwag（Zellers et al., 2019）、WinoGrande（Sakaguchi et al., 2021）、ARC-easy (ARC-e) および ARC-challenge (ARC-c)（Clark et al., 2018）、SIQA（Sap et al., 2019）、および BoolQ（Clark et al., 2019）を使用します。訓練においては、語彙サイズを 32K とし、訓練長を 4K〜32K トークンとしました。最適化には、バッチサイズ 0.5M トークン、重み減衰$0.1$、学習率$4e$-$4$のコサインアニーリングスケジュールを用いた AdamW オプティマイザを採用しました。メモリアーキテクチャについては、特に明記しない限り、拡張係数 4、GELU 活性化関数（Hendrycks and Gimpel, 2016）を持つ 2 層の MLP を使用します。また、各チャンクの最後に残差接続とレイヤー正規化を使用します：$ℳ\left(x\right)=x+W_1\sigma \left(W_{2}x\right)$。