記憶體快取：具備成長型記憶力的循環神經網路

摘要

Transformer 模型已成為近期序列建模進展的骨幹，這主要歸功於其隨上下文長度增長的記憶容量。雖然這種機制有利於檢索任務，但也導致了二次方的計算複雜度，促使近期研究致力於探索可行的次二次方（subquadratic）循環替代方案。儘管這些循環架構在多項領域展現出初步成果，但在需要高度回憶能力的任務中，其表現仍不及 Transformer，這通常被歸因於其固定大小的記憶體限制。在本文中，我們引入了「記憶體快取」（Memory Caching, MC），這是一項簡單卻有效的技術，透過快取記憶體狀態（又稱隱藏狀態）的檢查點來增強循環模型。MC 使得循環神經網路（RNN）的有效記憶容量能隨序列長度增長，提供了一種靈活的權衡方案，能在 RNN 的固定記憶（即 $O\left(L\right)$ 複雜度）與 Transformer 的成長型記憶（即 $O\left(L^2\right)$ 複雜度）之間進行插值。我們提出了四種 MC 變體，包括閘道聚合與稀疏選擇機制，並討論了它們在線性及深度記憶模組上的影響。我們在語言建模與長上下文理解任務上的實驗結果顯示，MC 顯著提升了循環模型的效能，證實了其有效性。在上下文回憶任務的結果表明，雖然 Transformer 仍保持最高準確率，但我們的 MC 變體展現出極具競爭力的表現，成功縮小了與 Transformer 的差距，並優於現有的最先進循環模型。

1. 引言

Transformer 模型 (Vaswani et al., 2017) 是近期機器學習在各領域取得進展的基石 (Jumper et al., 2021); (Dosovitskiy et al., 2021); (Comanici et al., 2025)。這種成功通常歸因於其大規模學習能力 (Kaplan et al., 2020) 以及上下文學習（in-context learning）能力 (Brown et al., 2020)，這兩者皆源自其核心構件——注意力模組（attention module），該模組作為一種具有成長容量的關聯記憶運作 (Ramsauer et al., 2021); (Bietti et al., 2024); (Behrouz et al., 2026)。雖然這種成長型記憶對許多檢索任務非常有效 (Arora et al., 2024b)，但它帶來了二次方的計算複雜度以及推論時高昂的記憶體使用量（KV-caching）。這激發了對次二次方架構的開發，旨在提高效率同時維持效能 (Dai et al., 2019); (Child et al., 2019); (Poli et al., 2023)。

特別是，循環神經網路（RNNs）旨在將過去數據壓縮至其記憶狀態中，在整個輸入序列期間維持固定大小，近年來重新受到關注 (Katharopoulos et al., 2020); (Irie et al., 2021); (Sun et al., 2023); (Behrouz et al., 2025c)。儘管在多項短上下文語言建模任務 (Irie et al., 2022) 及其他序列建模任務（如影片數據）(Park et al., 2025) 中展現出有希望的成果，但此類循環架構的固定記憶狀態仍是限制其發揮潛力的瓶頸。這些架構的基礎在於循環與數據壓縮，若設計得當，可產生高效且具表現力的學習演算法 (Merrill et al., 2024); (Huang et al., 2024)。然而，其壓縮不斷增長序列的固定容量迫使它們遺忘過去的資訊，這在需要高度回憶能力及長上下文的任務中構成了關鍵瓶頸 (Arora et al., 2024b); (Kuratov et al., 2024)。

貢獻。 我們引入了「記憶體快取」（Memory Caching, MC），這是一項通用技術，透過快取記憶狀態的檢查點，使循環模型的有效記憶力能隨序列長度增長（參見圖 1）。MC 提供了一種介於標準循環與注意力機制之間的靈活中間地帶，提供了可控制的 $O\left(NL\right)$ 複雜度。這使得我們能在 RNN 的 $O\left(L\right)$ 複雜度與 Transformer 的 $O\left(L^2\right)$ 複雜度之間進行靈活插值。我們的主要貢獻如下：

• MC 框架： 我們提出將序列分段，並快取每個分段的壓縮記憶狀態，使模型能直接存取整個歷史的壓縮資訊。
• 新穎的聚合策略： 我們引入了四種利用這些快取記憶的方法：(i, ii) （閘道）殘差記憶，利用殘差連接與新穎的上下文感知閘道機制；(iii) 記憶湯（Memory Soup），靈感來自權重湯（weight souping），對快取記憶模組的參數進行平均（適用於非線性記憶）；以及 (iv) 稀疏選擇性快取（SSC），使用類似混合專家（Mixture-of-Experts）的路由器，僅選擇與上下文最相關的快取記憶進行高效聚合。
• 實證驗證： 作為概念驗證，我們在三种架構上展示了 MC 的有效性：線性注意力（Linear Attention, LA）(Katharopoulos et al., 2020)、深度記憶模組 Titans (Behrouz et al., 2025c)、滑動視窗線性注意力（SWLA）及深度線性注意力（DLA）(Behrouz et al., 2025a)。橫跨語言建模、長上下文及檢索任務的實驗結果顯示，MC 提升了效能並擴展了 RNN 的有效上下文長度。

2. 預備知識與背景

本節回顧必要的背景知識並建立符號系統。特別是，我們將回顧注意力及其線性變體的概念，接著討論參數化上下文學習與嵌套學習範式（nested learning paradigm）(Behrouz et al., 2026); (2025b)，這是我們構建記憶體快取的基礎。

符號。 我們使用粗體小寫（分別為大寫）字母表示向量（分別為矩陣），並使用下標 $t$ 指代時間 $t$ 時的實體狀態。文中，設 $x\in {ℝ}^{L\times d_{\text{in}}}$ 為輸入，${ℳ}_t$ 為時間 $t$ 時的記憶狀態 $ℳ(\cdot )$，$𝐊$ 為鍵（keys），$𝐕$ 為值（values），$𝐐$ 為查詢矩陣（query matrices），$L$ 表示序列長度。我們專注於基於多層感知器（MLP）的記憶架構，其層數 ${ℒ}_{ℳ}\ge 1$。值得注意的是，當 ${ℒ}_{ℳ}=1$ 時，此公式包含了線性矩陣值記憶模組。如有需要，我們將記憶模組 $ℳ(\cdot )$ 參數化為 ${\theta }_{ℳ}:=\{W_1,\dots ,W_{{ℒ}_{ℳ}},\dots \}$，其中至少包含 MLP 中線性層的參數。

注意力機制。 注意力 (Vaswani et al., 2017) 是 Transformer 的主要構件，充當其關聯記憶 (Bietti et al., 2023); (Behrouz et al., 2026); (Wang et al., 2025)。給定輸入 $x\in {ℝ}^{L\times d_{\text{in}}}$，因果注意力（causal attention）根據輸入依賴的鍵、值和查詢矩陣 $𝐐=x{𝐖}_{𝐐}$, $𝐊=x{𝐖}_{𝐊}$, 及 $𝐕=x{𝐖}_{𝐕}$ 計算輸出 $𝐲\in {ℝ}^{L\times d_{\text{in}}}$ 如下：

${𝐲}_i=\sum _{t=1}^i\frac{\exp \left({𝐪}_i^{\top }𝐤t\right){𝐯}_t}{\sum _{\ell =1}^i\exp \left({𝐪}_i^{\top }𝐤\ell \right)}=\frac{1}{Z_i}\sum _{t=1}^i\exp \left({𝐪}_i^{\top }𝐤t\right){𝐯}_t公式\; (1)$

其中 ${𝐖}_{𝐐}$, ${𝐖}_{𝐊}$, 和 ${𝐖}_{𝐕}\in {ℝ}^{d_{\text{in}}\times d_{\text{in}}}$ 為可學習參數，$Z_i$ 為歸一化項。由於需要存取所有過去的 token，注意力機制需要 $O\left(L^2\right)$ 的運算量。

線性注意力。 線性注意力 (Katharopoulos et al., 2020) 及其變體 (Schlag et al., 2021); (Peng et al., 2023); (Yang et al., 2024b) 透過將公式 (1) 中的 $\exp (\cdot )$ 運算子替換為可分離核函數 $\varphi (\cdot )$ 來提高效率，從而產生高效的循環公式：

${𝐲}_i=\sum _{t=1}^i\frac{\varphi \left({𝐪}_i\right)\left){\top }^{}\varphi \right({𝐤}_t){𝐯}_t}{\sum _{\ell =1}^i\varphi \left({𝐪}_i\right)\left){\top }^{}\varphi \right({𝐤}_{\ell })}=\frac{1}{Z_i}{ℳ}_i\varphi \left({𝐪}_i\right)公式\; (2)$

其中 ${ℳ}_t={ℳ}_{t-1}+{𝐯}_t\varphi \left({𝐤}_t\right){\top }^{}$ 充當固定大小的記憶 (Katharopoulos et al., 2020)。

測試時記憶化與嵌套學習觀點。 近期的一個統一框架將序列模型（包括注意力和現代 RNN）的更新規則解釋為具有不同目標的動態上下文學習/記憶化過程 (Behrouz et al., 2026); (2025b)。在此觀點下，模型作為關聯記憶，主動學習輸入 token（鍵與值）之間的映射。這種記憶化是通過優化內部目標實現的，通常形式化為 $L_2$ 回歸問題 (Wang et al., 2025) 或具有「注意力偏見」（attentional bias）的一般目標 (Behrouz et al., 2026); (2025b)。此觀點將記憶狀態視為在前向傳播過程中優化的動態實體。特別是在 Miras 框架的最簡單形式中 (Behrouz et al., 2026)，關聯記憶 $ℳ(\cdot )$ 旨在基於某個目標（稱為「注意力偏見」）學習鍵 $\{{𝒌}_t{\}}_{t=1}^L$ 與值 $\{{𝒗}_t{\}}_{t=1}^L$ 之間的映射：

${ℳ}_{t+1}=\underset{ℳ}{\mathrm{argmin}}ℒ\left(ℳ\right({𝒌}_t);{𝒗}_t)+\text{Ret}(ℳ;{ℳ}_t)公式\; (3)$

其中目標函數 $ℒ(\cdot )$ 衡量映射的品質，而 $\text{Ret}(ℳ;{ℳ}_t)$ 則確保新解與上一個記憶狀態保持接近。針對特定的注意力偏見選擇，可以還原出已知的架構：例如，令 $ℒ\left(ℳ\right({𝒌}_t);{𝒗}_t)=⟨ℳ\left({𝒌}_t\right),{𝒗}_t⟩$ 且 $ℳ(\cdot )\in {ℝ}^{d\times d}$，即可還原出未歸一化的線性注意力架構 (Katharopoulos et al., 2020)。我們利用此觀點引入記憶體快取，其中快取狀態作為此優化過程的檢查點，增強了模型在長序列中檢索資訊的能力。

3. 具備記憶體快取的循環神經網路

RNN 維持固定大小的記憶來壓縮輸入序列。隨著序列變長，這會導致記憶溢位與效能下降。相對地，注意力機制快取所有過去的 token，導致記憶增長但帶來二次方成本。我們提出記憶體快取（MC）來快取中間記憶狀態，提供一個中間地帶，使模型的記憶能隨規模任意增長。這使得計算成本能在 $O\left(L\right)$（類似 RNN）與 $O\left(L^2\right)$（類似 Transformer）之間進行插值。為此，給定一序列 token $x\in {ℝ}^{L\times d_{\text{in}}}$，我們將序列分割為片段 $S^{\left(1\right)},\dots ,S^{\left(N\right)}$，大小為 $L^{\left(1\right)},\dots ,L^{\left(N\right)}$，並使用記憶 ${ℳ}^{\left(1\right)},\dots ,{ℳ}^{\left(N\right)}$ 來壓縮這些片段。對應於第 $s$ 個片段的記憶更新規則或循環如下：

${𝒌}_t=x_t{W}_{𝒌},{𝒗}_t=x_t{W}_{𝒗},{𝒒}_t=x_t{W}_{𝒒}公式\; (4a)$

${ℳ}_t^{\left(s\right)}=f({ℳ}_{t-1}^{\left(s\right)};{𝒌}_t,{𝒗}_t),\text{其中}1\le t\le L^{\left(s\right)}公式\; (4b)$

其中 $f(\cdot )$ 是學習更新規則（例如，對於線性注意力 (Katharopoulos et al., 2020)，$f({ℳ}_{t-1}^{\left(s\right)};{𝒌}_t,{𝒗}_t)={ℳ}_{t-1}^{\left(s\right)}+{𝒗}_t{𝒌}_t^{\top }$）。使用上述公式，在更新記憶後，我們快取每個片段的最後狀態（即 $\{{ℳ}_{L^{\left(s\right)}}^{\left(s\right)}{\}}_{s=1}^T$，其中 $T$ 是當前片段的索引，$x_t\in S^{\left(T\right)}$）。標準 RNN 僅使用當前記憶狀態計算輸出：${𝐲}_t={ℳ}_t\left({𝒒}_t\right)$。相較之下，我們的公式利用所有快取記憶以及當前記憶（在線記憶）來計算查詢 ${𝒒}_t$ 的輸出。給定任意聚合函數 $\text{Agg}(\cdot ;\cdot ;\cdot )$，輸出為：

${𝐲}_t=\text{Agg}\left(\right\{{ℳ}_{L^{\left(1\right)}}^{\left(1\right)}(\cdot ),\dots ,{ℳ}_{L^{\left(s-1\right)}}^{\left(s-1\right)}(\cdot )\};{ℳ}_t^{\left(s\right)}(\cdot );{𝐪}_t)公式\; (5)$

其中 $s$ 是當前片段的索引。請注意，對於 $1\le i\le s$，項 ${ℳ}_{L^{\left(i\right)}}^{\left(i\right)}\left({𝐪}_t\right)$ 提供了第 $i$ 個片段中對應於查詢 ${𝒒}_t$ 的資訊。在接下來的章節中，我們將介紹 $\text{Agg}(\cdot ;\cdot ;\cdot )$ 函數的不同有效選擇，以將過去資訊納入當前輸出的計算，並增加模型的有效記憶容量。

3.1 殘差記憶 (Residual Memory)

我們從最簡單的 $\text{Agg}(\cdot ;\cdot ;\cdot )$ 運算子開始：作為記憶狀態間的殘差連接的總和。在這種情況下，給定鍵、值和查詢（參見公式 4）以及片段 $S^{\left(1\right)},\dots ,S^{\left(N\right)}$，我們將時間 $t$（位於片段 $s$ 中）的記憶更新與輸出計算定義為：

${ℳ}_t^{\left(s\right)}=f({ℳ}_{t-1}^{\left(s\right)};{𝒌}_t,{𝒗}_t),\text{其中}1\le t\le L^{\left(s\right)}公式\; (6)$

${𝐲}_t=\underset{\text{在線記憶}}{\underset{\left(}{{ℳ}_t^{\left(s\right)}}}+\underset{\text{快取記憶}}{\underset{{ℳ}_{L^{\left(i\right)}}^{\left(i\right)}}{\sum _{i=1}^{s-1}}}公式\; (7)$

記憶體快取的關鍵變革在於輸出的計算方式。事實上，為了檢索記憶，模型對當前記憶（稱為在線記憶）和快取記憶都進行了針對輸入查詢 ${𝒒}_t$ 的前向傳播。

閘道殘差記憶 (Gated Residual Memory, GRM)。 當記憶模組嚴格為線性時（即 $ℳ$ 為矩陣），殘差記憶公式（公式 7）在數學上會坍縮為標準的固定大小記憶，因為快取記憶可以預先加總（參見下文公式 13）。然而，實驗結果顯示，即使是這種簡單的公式也能增強循環模型的能力（參見第 5 節）。主要原因是簡單的殘差記憶充當了保留算子，增強了對長久過去資訊的存取。殘差方法的另一個限制是它同等對待所有快取記憶，忽略了它們與查詢 ${𝒒}_t$ 的相關性。為了實現選擇性檢索，我們引入了輸入依賴的閘道機制。給定片段 $s$ 中的輸入 $x_t$，我們定義參數 $0\le {\gamma }_t^{\left(1\right)},\dots ,{\gamma }_t^{\left(s\right)}\le 1$ 為輸入依賴參數，並將輸出重新表述為：

${ℳ}_t^{\left(s\right)}=f({ℳ}_{t-1}^{\left(s\right)};{𝒌}_t,{𝒗}_t),\text{for}1\le t\le L^{\left(s\right)}公式\; (8)$

${𝐲}_t={\gamma }_t^{\left(s\right)}{ℳ}_t^{\left(s\right)}\left({𝐪}_t\right)+\sum _{i=1}^{s-1}{\gamma }_t^{\left(i\right)}{ℳ}_{L^{\left(i\right)}}^{\left(i\right)}\left({𝐪}_t\right)公式\; (9)$

此處，參數 ${\gamma }_t^{\left(i\right)}$ 調節每個片段對輸出的貢獻。當 ${\gamma }_t^{\left(i\right)}\to 1$（分別為 $\to 0$）時，第 $i$ 個片段對輸出的貢獻較大（分別為較小）。由於這些輸入依賴參數的存在，上述公式無法在此 token 之前預先計算，也無法複用於下一個 token/片段。因此，與先前的變體不同，它不會坍縮為固定大小的記憶情況（即使是在線性記憶的情況下），因此需要為每個 token 重新計算並快取記憶狀態。對於 ${\gamma }_t^{\left(i\right)}$ 的一個簡單參數化選擇是將其定義為輸入 $x_t$ 的線性投影（類似於鍵、值和查詢的投影）。然而，在這種參數化下，${\gamma }_t^{\left(i\right)}$ 充當基於位置的過濾/聚焦，意味著 $x_t$ 的上下文僅決定第 $i$ 個片段的記憶（基於位置）貢獻多少，無論其上下文為何。為了克服這個問題，我們建議使 ${\gamma }_t^{\left(i\right)}$ 成為 $x_t$ 和第 $i$ 個片段 $S^{\left(i\right)}$ 的函數，結合兩者的上下文及其相似度。為此，我們引入連接器參數 ${𝒖}_t$ 作為輸入的線性投影，並將 ${\gamma }_t^{\left(i\right)}$ 定義為 ${𝒖}_t$ 與第 $i$ 個片段 $S^{\left(i\right)}$ 的相似度：

${\gamma }_t^{\left(i\right)}=⟨{𝒖}_t,\text{MeanPooling}\left(S^{\left(i\right)}\right)⟩\text{where}{𝒖}_t=x_t{W}_{𝒖}公式\; (10)$

此處，$\text{MeanPooling}(\cdot )$ 提供了片段上下文的簡單表示，即所有 token 的平均值。然而，它可以被任何其他池化過程替換。在實踐中，我們還使用 softmax(·) 對 ${\gamma }_t^{\left(i\right)}$ 進行歸一化。作為替代參數化，我們可以使用 ${𝒖}_t={𝒒}_t$。當 ${\gamma }_t^{\left(i\right)}$ 為常數時，GRM 等價於殘差記憶變體。

範例。 為了更好地說明上述公式，我們舉一個說明性範例。設 $f({ℳ}_{t-1}^{\left(s\right)};{𝒌}_t,{𝒗}_t)={ℳ}_{t-1}^{\left(s\right)}-\nabla ⟨{ℳ}_{t-1}^{\left(s\right)}\left({𝒌}_t\right),{𝒗}_t⟩$，其中記憶 $ℳ(\cdot )$ 是任意前饋層（例如 MLP 或閘道 MLP 層）。這種通用形式等價於深度線性注意力（DLA）(Behrouz et al., 2025a)，而當記憶為矩陣時（即單層 MLP），它等價於線性注意力 (Katharopoulos et al., 2020)。對 DLA 使用殘差記憶快取會產生具有以下更新和檢索規則的模型：

滑動視窗線性注意力（Sliding Window Linear Attention, SWLA）。近期，Behrouz 等人（2025a）提出了滑動視窗線性注意力（SWLA），其記憶權重是根據一組 $c\ge 1$ 個過去 token 進行更新（這與線上 RNN 不同，後者僅根據最後一個 token 更新記憶）。更具體地說，給定一個記憶模組 $ℳ(\cdot )$ 以及鍵、值和查詢 ${\left\{({𝒌}_t,{𝒗}_t,{𝒒}_t)\right\}}_{t=1}^L$，其更新與檢索規則定義如下：

${ℳ}_t={\alpha }_t{ℳ}_{t-1}+\sum _{i=t-c+1}^t{\beta }_i^{\left(t\right)}{𝒗}_i{𝒌}_i^{\top },$	(26)
${𝐲}_t={ℳ}_t{𝒒}_t,$	(27)

當 $c=1$ 時，此設計會退化為簡單的線性注意力（線上線性 RNN）及其閘道變體（Katharopoulos 等人，2020；Sun 等人，2023；Li 等人，2025）。作為概念驗證，我們對 $c=2$ 的 SWLA 使用記憶快取，產生的遞迴與檢索公式為：

${ℳ}_t^{\left(s\right)}={\alpha }_t{ℳ}_{t-1}^{\left(s\right)}+\left({\beta }_t{𝒗}_{t-1}{𝒌}_{t-1}^{\top }+{\lambda }_t{𝒗}_t{𝒌}_t^{\top }\right),$	(28)
${𝐲}_t={\gamma }_t^{\left(s\right)}{ℳ}_t^{\left(s\right)}{𝒒}_t+\sum _{i=1}^{s-1}{\gamma }_t^{\left(i\right)}{ℳ}_{L^{\left(i\right)}}^{\left(i\right)}{𝒒}_t.$	(29)

請注意，如前所述，由於 SWLA 是線性記憶模組，因此 GRM 和 Memory Soup 變體最終會導出相同的公式。

模型	Wiki. ppl $\downarrow$	LMB. ppl $\downarrow$	LMB. acc $\uparrow$	PIQA acc $\uparrow$	Hella. acc_n $\uparrow$	Wino. acc $\uparrow$	ARC-e acc $\uparrow$	ARC-c acc_n $\uparrow$	SIQA acc $\uparrow$	BoolQ acc $\uparrow$	Avg. $\uparrow$
7.6 億參數 / 300 億 token
Transformer++	24.18	24.27	36.3	67.2	41.8	52.0	65.6	33.4	39.1	61.7	49.64
Samba∗	21.07	22.85	39.2	68.9	47.8	53.1	65.8	34.9	38.9	63.1	51.46
RetNet	25.77	24.19	34.5	66.8	41.2	51.9	63.6	32.5	38.8	56.2	48.19
DeltaNet	24.52	24.38	36.8	67.3	44.5	51.8	64.2	32.7	39.6	60.1	49.63
RWKV-7	23.75	23.08	37.1	67.3	47.6	52.2	64.7	34.2	39.4	61.9	50.55
Miras (Memora)	22.28	22.31	38.2	67.8	49.3	53.3	63.6	36.1	40.9	63.0	51.53
SWLA	23.83	22.74	36.5	66.9	44.1	54.9	64.2	34.1	39.6	60.1	50.05
+ Log-Linear++	23.37	22.19	36.9	67.3	44.7	55.0	64.9	34.6	39.4	60.4	50.40
+ GRM (= Soup)	22.81	21.50	37.8	68.3	45.8	55.0	65.4	36.2	40.6	61.0	51.26
+ SSC	23.06	22.39	37.2	67.9	45.2	54.9	65.2	35.5	39.8	60.6	50.79
DLA	23.12	22.09	36.1	68.0	47.9	52.7	65.8	34.6	39.1	59.6	50.48
+ Log-Linear++	23.08	21.15	36.8	68.1	47.7	53.0	65.6	35.1	39.2	59.3	50.60
+ GRM	22.91	20.10	37.5	69.2	48.7	52.8	66.1	36.8	40.3	59.9	51.41
+ Memory Soup	22.78	20.49	37.2	69.6	48.3	53.4	65.8	36.5	39.6	60.2	51.33
+ SSC	23.14	20.86	37.0	68.4	47.7	52.7	66.0	35.2	39.7	60.1	50.85
Titans (LMM)	20.04	21.96	37.4	69.3	48.5	52.3	66.3	35.8	40.1	62.8	51.56
+ Log-Linear++	19.79	20.62	37.8	70.1	48.0	52.5	66.8	35.6	40.3	62.8	51.74
+ GRM	19.14	20.21	38.3	70.6	48.4	54.0	67.5	36.4	41.7	63.5	52.55
+ Memory Soup	19.52	20.38	38.0	71.4	48.6	53.7	67.1	35.4	41.3	63.1	52.33
+ SSC	19.39	20.46	37.7	70.9	48.7	53.5	66.9	36.3	41.2	63.1	52.29
13 億參數 / 1000 億 token
Transformer++	17.92	17.73	42.6	71.4	51.3	54.1	69.9	36.0	41.8	58.4	53.19
Samba∗	16.15	13.21	45.2	71.5	53.8	55.8	69.1	36.7	40.6	63.0	54.46
RetNet	18.91	17.04	41.2	71.3	49.1	55.2	67.5	34.1	41.4	61.0	52.60
DeltaNet	18.62	17.10	41.6	70.1	49.4	52.7	67.6	35.2	39.7	54.8	51.39
Miras (Memora)	15.90	12.04	48.7	73.1	56.0	57.4	71.5	37.9	40.2	61.3	55.76
SWLA	18.47	16.23	39.4	70.9	48.8	56.5	67.3	35.8	41.5	60.2	52.55
+ Log-Linear++	18.67	16.09	39.9	71.2	49.3	56.6	68.1	36.3	41.4	60.4	52.90
+ GRM (= Soup)	18.51	15.95	40.6	72.6	50.5	57.8	69.5	40.8	42.8	62.2	54.60
+ SSC	18.61	16.01	40.4	71.9	50.0	57.1	68.9	38.6	42.2	61.2	53.79
DLA	16.31	12.29	44.5	70.6	53.9	54.2	69.6	36.0	40.8	60.2	53.72
+ Log-Linear++	16.22	12.25	44.9	71.1	54.5	54.8	70.0	36.6	41.3	60.7	54.24
+ GRM	16.08	12.10	45.8	72.5	55.9	55.8	71.5	41.2	42.8	62.2	55.96
+ Memory Soup	16.16	12.17	45.6	71.9	55.4	55.6	70.9	37.7	42.0	61.5	55.08
+ SSC	16.20	12.19	45.3	71.7	54.8	55.3	70.4	37.1	41.4	61.1	54.64
Titans (LMM)	15.60	11.41	49.1	73.1	56.3	59.8	72.4	40.8	42.1	61.0	56.82
+ Log-Linear++	15.49	11.38	49.4	73.6	56.5	60.3	72.8	41.1	42.5	61.3	57.19
+ GRM	15.37	11.29	50.4	74.5	57.4	61.5	73.8	42.6	43.9	62.5	58.33
+ Memory Soup	15.42	11.31	49.9	74.2	57.3	60.8	73.5	42.2	43.4	62.0	57.91
+ SSC	15.44	11.35	49.6	73.8	57.0	60.6	73.1	41.9	42.8	61.8	57.58
∗ 代表注意力機制與線性 RNN 的混合架構 (Ren 等人，2024)。

深度線性注意力（Deep Linear Attention, DLA）。DLA 使用與線性注意力相同的更新規則（即赫布式規則），但採用深度記憶模組。也就是說，給定一個記憶模組 $ℳ(\cdot )$ 以及鍵、值和查詢 ${\left\{({𝒌}_t,{𝒗}_t,{𝒒}_t)\right\}}_{t=1}^L$，其更新與檢索規則定義如下：

${ℳ}_t={ℳ}_{t-1}-{\eta }_t\nabla ℒ({ℳ}_{t-1};{𝒌}_t,{𝒗}_t),$	(30)
${𝐲}_t={ℳ}_t\left({𝒒}_t\right),$	(31)

其中注意力偏置目標函數定義為 $ℒ({ℳ}_{t-1};{𝒌}_t,{𝒗}_t)=-⟨{ℳ}_{t-1}\left({𝒌}_t\right),{𝒗}_t⟩$。使用記憶快取（GRM 變體）時，DLA 的更新與檢索過程定義為：

${ℳ}_t^{\left(s\right)}={ℳ}_{t-1}^{\left(s\right)}-{\eta }_t\nabla ℒ({ℳ}_{t-1}^{\left(s\right)};{𝒌}_t,{𝒗}_t),\text{for}1\le t\le L^{\left(s\right)},$	(32)
${𝐲}_t={\gamma }_t^{\left(s\right)}{ℳ}_t^{\left(s\right)}\left({𝐪}_t\right)+\sum _{i=1}^{s-1}{\gamma }_t^{\left(i\right)}{ℳ}_{L^{\left(i\right)}}^{\left(i\right)}\left({𝐪}_t\right).$	(33)

同樣地，我們可以將公式 14或公式 17替換為 DLA 的更新規則（類似於公式 32），以推導出其他記憶快取變體。請注意，當記憶模組 $ℳ(\cdot )$ 為矩陣時，上述公式即等價於線性注意力（Katharopoulos 等人，2020）。

Titans。在 Titans 中，與 DLA 相比，其注意力偏置目標函數以及內部優化器皆有所不同。更具體地說，給定一個記憶模組 $ℳ(\cdot )$ 以及鍵、值和查詢 ${\left\{({𝒌}_t,{𝒗}_t,{𝒒}_t)\right\}}_{t=1}^L$，Titans 的更新與檢索規則定義為：

${ℳ}_t={\alpha }_t{ℳ}_{t-1}-{𝒮}_t,$

(34)

其中，注意力偏置目標函數定義為 $ℒ({ℳ}_{t-1};{𝒌}_t,{𝒗}_t)={\Vert {ℳ}_{t-1}\left({𝒌}_t\right)-{𝒗}_t\Vert }_2^2$。在使用記憶快取（MC）時，雖然每個區段的記憶更新運算與 公式 34 和 公式 35 相同，但 Titans 搭配記憶快取的檢索過程則定義為與 公式 33 相同。

Log-Linear++ 變體。 最近，Guo 等人 (2025) 利用線性 RNN 的結構化矩陣形式，設計了 Log-linear Attention。這是一種基於 Fenwick 樹結構 (Fenwick, 1994) 的分層演算法，允許隱藏狀態以對數方式增長。我們旨在將 Log-linear Attention 作為實驗中的基準，以展示分段（Segmentation）對效率與檢索效能的影響。然而，其公式存在我們先在 第 3.1 節 討論過的位置偏誤（Positional Bias）以及檢索過程缺乏上下文依賴性（Context-dependency）等問題。為了公平起見，我們改進了 Log-linear 公式（在實驗中標記為 Log-Linear++），將其重新表述為一種具有 GRM 與對數規模區段集合的記憶快取變體。其分段過程與 第 4.2 節 所述過程相同，其他組成部分則保持不變，與我們的記憶快取變體一致。

作為訓練後處理的記憶快取。 記憶快取亦可應用於模型預訓練之後；在推論階段，我們快取每個區段（例如：訓練序列長度）結束後的記憶狀態。在解碼時，我們使用過去快取記憶的移動平均，且不涉及可學習權重。在我們的實驗結果中觀察到，即便是這種簡單的技術，也能顯著增強循環模型（Recurrent Models）的長度外推（Length Extrapolation）能力。

	S-NIAH-1			S-NIAH-2			S-NIAH-3
	(pass-key retrieval)			(number in haystack)			(uuid in haystack)
模型	4K	8K	16K	4K	8K	16K	4K	8K	16K
Transformer	88.6	76.4	79.8	100	98.8	94.2	78.0	69.2	40.8
DLA	96.4	71.2	44.0	79.6	42.6	28.2	18.2	8.8	4.0
+ Log-Linear++	100	96.2	70.4	87.6	70.4	18.0	28.8	20.4	6.0
+ GRM	100	100	82.4	94.6	82.8	54.8	48.2	34.4	18.2
+ Memory Soup	100	100	78.2	91.8	77.2	40.4	43.0	32.8	14.8
+ SSC	100	98.2	76.8	89.2	74.8	37.6	34.0	28.6	11.2
Titans (LMM)	100	100	100	99.6	84.6	75.4	74.2	42.8	21.2
+ Log-Linear++	100	100	100	95.6	88.4	74.8	76.0	48.4	24.2
+ GRM	100	100	100	99.8	96.6	88.2	89.4	69.0	32.2
+ Memory Soup	100	100	100	98.8	92.2	83.0	84.2	61.8	28.6
+ SSC	100	100	100	98.6	90.4	79.6	81.0	54.2	27.0

5 實驗

接下來，我們評估記憶快藏在提升模型於語言建模、常識推理、大海撈針（Needle-in-a-Haystack）以及上下文召回（In-context Recall）等任務上的成效。

實驗設定。 在我們的實驗評估中，主要遵循 Guo 等人 (2025) 的方法。我們使用 FineWeb 數據集 (Penedo 等人，2024) 與 Long-Data-Collections (Together AI, 2024) 的混合數據訓練模型，訓練上下文視窗大小為 {2K, 4K, 8K, 16K, 32K}，區段長度範圍為 {16, 32, 64, 128, 256, 512} 個 token。在語言建模與常識推理任務（表 1）中，預設模型使用 4K 上下文長度與 256 區段長度進行訓練。我們使用了 760M 與 1.3B 參數量的模型，並在從 FineWeb 數據集中採樣的 300 億與 1000 億 token 上進行訓練。困惑度（Perplexity）是在保留的驗證數據上測量。至於下游任務，我們在 Wikitext (Merity 等人，2017)、LMB (Paperno 等人，2016)、PIQA (Bisk 等人，2020)、HellaSwag (Zellers 等人，2019)、WinoGrande (Sakaguchi 等人，2021)、ARC-easy (ARC-e) 與 ARC-challenge (ARC-c) (Clark 等人，2018)、SIQA (Sap 等人，2019) 以及 BoolQ (Clark 等人，2019) 上評估訓練好的模型。在其他下游任務如大海撈針、上下文檢索與 LongBench 中，我們使用 16K 上下文長度訓練模型，以便更好地區分模型在短上下文與長上下文上的表現。有關實驗設定與其他使用數據集的更多細節請參閱 附錄 B。

5.1 語言建模

我們從常見的學術規模語言建模開始。SWLA、DLA 與 Titans 在有无記憶快藏下的結果列於 表 1。觀察結果如下：(1) 比較 DLA、Titans 與 SWLA 及其加入記憶快藏的增強版本，我們發現所有記憶快藏變體在不同下游任務上均提供一致的提升，且平均表現優於基準模型。這顯示了記憶快藏對於進一步增強受限記憶體模型的重要性。(2) 如前所述，記憶快藏可視為（稀疏）注意力機制與循環模型的混合體。比較記憶快藏增強模型與基於注意力的模型（即混合架構與 Transformers），記憶快藏為循環模型的記憶體限制問題提供了更強大的解決方案。特別是，Titans + MC 與 DLA + MC 相比 Titans 基線提升了 0.8% 的效能。(3) 比較 MC 的定長分段與 Log-Linear++ 方法，我們觀察到定長分段變體提供了更好的結果。此外，在我們提供的方法中，GRM 接著是 SSC 表現最佳。我們將此效能提升歸因於 MC 為模型提供了更大的有效記憶容量。

	SWDE				SQuAD				FDA
模型	512	1024	2048	16k	512	1024	2048	16k	512	1024	2048	16k
Transformer	46.2	43.7	44.4	44.0	33.1	33.3	33.6	33.4	71.0	69.5	71.6	71.0
Titans (MAL)	51.9	48.6	48.3	48.5	28.3	29.2	29.1	28.8	71.1	73.9	72.1	71.7
DLA	44.5	39.9	32.7	32.5	23.8	24.0	23.8	24.1	55.6	40.2	25.9	23.3
+ Log-Linear++	43.7	37.7	30.4	30.6	27.8	27.8	27.9	28.3	55.1	39.6	22.3	18.9
+ GRM	52.4	48.9	48.7	48.5	29.5	30.7	30.7	30.1	63.3	51.6	48.9	41.5
+ Memory Soup	49.5	45.0	38.0	37.7	28.4	28.6	28.5	29.1	60.5	48.4	37.2	34.6
+ SSC	47.0	42.5	35.5	35.3	26.0	28.1	27.1	28.8	58.0	46.0	28.8	29.4
Titans (LMM)	43.2	34.4	29.2	29.7	25.7	26.2	26.3	25.6	59.3	45.5	35.4	32.5
+ Log-Linear++	48.0	41.4	37.2	37.0	27.2	27.3	27.2	27.1	67.0	55.5	41.2	32.4
+ GRM	52.6	49.3	49.5	50.1	29.7	30.4	31.5	32.0	72.9	68.7	61.1	52.6
+ Memory Soup	50.3	46.7	44.8	45.4	29.2	29.7	29.8	30.3	70.3	63.8	55.7	45.8
+ SSC	48.6	44.2	41.0	41.4	28.3	28.8	28.5	28.8	68.2	59.4	47.6	38.9
	TriviaQA				Drop				NQ			Avg.
模型	512	1024	2048	16k	512	1024	2048	16k	512	1024	2048
Transformer	47.5	48.5	47.4	47.6	21.8	22.0	21.5	21.4	23.6	23.1	23.7	41.00
Titans (MAL)	44.8	45.1	44.6	44.8	20.6	20.5	20.8	20.9	22.1	22.4	22.5	40.46
DLA	43.3	44.2	43.5	43.2	20.1	19.9	20.6	20.0	19.7	18.4	18.5	30.51
+ Log-Linear++	43.7	44.8	43.6	43.8	20.3	20.2	20.8	20.2	19.9	18.8	21.0	30.75
+ GRM	50.1	47.3	44.8	50.0	21.9	21.8	22.0	21.7	23.5	23.3	23.4	38.03
+ Memory Soup	48.0	46.4	44.2	48.7	21.5	21.3	21.7	21.2	22.8	22.4	22.5	35.05
+ SSC	45.8	45.5	43.9	46.1	20.9	20.7	21.2	20.6	21.4	20.6	21.8	33.09
Titans (LMM)	44.2	44.7	43.9	44.5	20.2	20.1	20.3	20.6	20.1	19.5	19.1	31.75
+ Log-Linear++	44.5	44.9	44.1	44.7	20.4	20.4	20.5	20.7	21.5	19.8	20.4	34.37
+ GRM	50.2	47.5	45.3	50.9	21.7	21.8	21.9	21.5	23.7	23.4	23.3	40.50
+ Memory Soup	48.3	46.6	44.8	49.4	21.3	21.4	21.7	21.1	22.9	22.2	22.5	38.43
+ SSC	46.1	45.7	44.3	46.9	20.8	20.7	21.2	20.9	21.9	20.4	21.5	36.27

5.2 大海撈針（Needle-In-A-Haystack）任務

我們使用大海撈針（NIAH）任務（表 2）評估 MC 對長上下文檢索的影響。經 MC 增強的 DLA 與 Titans 持續超越基準模型。此外，MC 變體在較長上下文中表現優於 Log-Linear 方法。Log-Linear 表現掙扎的原因在於它強迫單一記憶壓縮非常大的初始區段（例如在 16K 序列中的前 8K token），而 MC 則能更有效地分攤壓縮負載。

5.3 上下文檢索（In-context Retrieval）任務

上下文召回任務是循環神經網絡最具挑戰性的基準之一。在本節中，我們遵循 Arora 等人 (2024b) 的方法，在 SWDE (Lockard 等人，2019)、NQ (Kwiatkowski 等人，2019)、DROP (Dua 等人，2019)、FDA (Arora 等人，2023)、SQUAD (Rajpurkar 等人，2016) 與 TQA (Kembhavi 等人，2017) 上進行實驗，以評估並比較 MC 增強變體與基準模型及 Transformers 的表現。結果列於 表 3。雖然 Transformer 在上下文召回任務中仍取得最佳結果，但我們的 MC 變體展現了具競爭力的效能，縮小了與 Transformer 的差距，且表現優於最先進的循環模型。我們再次將此效能提升歸因於隨序列長度擴展的更大記憶容量。

	Single-Doc QA			Multi-Doc QA			Summarization			Few-shot			Code
模型	NQA	QQA	MFQ	HQA	2WM	Mus	GvR	QMS	MNs	TRC	TQA	SSM	LCC	RBP
Transformer	11.5	9.6	19.1	21.5	28.9	6.5	13.0	9.2	3.1	27.2	27.9	15.1	22.9	29.1
DLA	9.4	17.5	12.1	11.8	22.3	4.8	9.5	7.4	5.1	4.8	23.5	9.7	38.4	34.9
+ Log-Linear++	10.1	10.2	17.1	12.4	23.3	5.5	6.6	12.7	5.8	18.6	24.7	16.2	31.6	31.0
+ GRM	11.6	10.3	19.8	18.2	26.9	6.4	13.5	14.1	6.9	25.7	28.2	18.3	32.7	33.9

表格 4（續）：LongBench 任務準確率 (Bai 等人，2024)：包含 NarrativeQA, QasperQA, MultiFieldQA, HotpotQA, 2WikiMultiQA, Musique, GovReport, QMSum, MultiNews, TREC, TriviaQA, SamSum, LCC, 與 RepoBench-P。

模型	Single-Doc QA				Multi-Doc QA				Summarization			Few-shot	Code
	NQA	QQA	MFQ	HQA	2WM	Mus	GvR	QMS	MNs	TRC	TQA	SSM	LCC	RBP
+ Memory Soup	11.2	10.3	19.5	16.7	25.1	6.3	11.2	13.8	6.2	22.5	26.9	17.7	32.3	33.5
+ SSC	10.7	10.2	18.8	14.2	24.8	5.9	8.4	12.9	6.1	20.5	25.7	16.8	31.9	32.6
Titans (LMM)	8.7	12.5	18.4	15.6	26.1	6.7	10.5	12.6	11.8	37.1	26.2	24.5	31.3	31.4
+ Log-Linear++	9.6	8.9	19.3	18.7	26.9	6.8	6.7	12.9	2.8	11.2	42.7	25.0	29.5	29.7
+ GRM	11.8	9.4	19.9	21.4	29.1	7.2	8.4	13.3	3.1	14.8	49.7	25.5	31.0	32.8
+ Memory Soup	10.7	9.2	19.6	20.2	28.2	7.1	7.8	13.1	3.0	13.7	47.1	25.3	30.8	31.4
+ SSC	9.9	9.1	19.4	19.8	27.5	6.9	7.1	13.0	2.8	12.5	44.8	25.2	29.9	30.8

5.4 長上下文理解（Long Context Understanding）任務

我們使用 LongBench (Bai 等人，2024) 進行長上下文理解任務的實驗。結果列於表 4。所有經 MC 增強的變體相較於其基礎 RNN 皆提供了效能提升，這再次歸因於其增加的記憶容量。

5.5 多查詢關聯召回（MQAR）

在本節中，我們評估 MC 增強變體在多查詢關聯召回（MQAR）任務 (Arora 等人，2024a) 中的表現。結果列於圖 5。我們的模型相較於其基礎 RNN 以及最先進的循環模型皆展現了良好的效能，與 Atlas (Behrouz 等人，2025a) 等最先進模型相比，在每維度数值的效能表現上達到最佳。

5.6 消融研究（Ablation Studies）

接下來，我們評估 MC 框架中設計選擇的影響。第一個選擇是 γ 應該僅是輸入的函數，還是也應包含區塊上下文的函數。結果列於表 5。此設計選擇顯示出顯著的平均改善。第二個設計是移除閘道（gating）。請注意，若無閘道，設計將退化為殘差記憶。結果顯示，即使是這種簡單的設計也能提升模型效能。最後，在第三個設計中，我們使用線性記憶模組。令人驚訝的是，使用記憶體快取能帶來相對於記憶架構和表達性更強健的效能表現。

5.7 效率（Efficiency）

最後，我們評估我們的變體與基準模型的訓練吞吐量。結果列於圖 4。我們的 MC 變體提供了 Transformer 與 RNN 之間的中間地帶，並且在增加上下文長度時，相較於 Transformer 變得極為高效。這些結果表明，我們的 SSC 變體兼具兩者優點，在我們之前討論的多樣化下游任務中，其表現與其他變體相當或更佳，同時相較於其原始基礎 RNN 變體僅增加極小的開銷。此外，它們在較長序列中顯示出顯著更好的效率。

6 結論

在本文中，我們提出了記憶體快取（Memory Caching, MC），這是一種適用於所有循環神經網絡的簡單技術，它快取一部分記憶狀態，允許後續 token 直接關注其過去相關的 token。我們的實驗顯示，相較於一組基準模型，本方法有所改進。本文中的許多選擇都是為了使最終模型盡可能簡單，以更好地展示記憶體快取概念的效果。然而，在未來的工作中，可以使用更具表達性的池化或路由機制來進一步提升效能。

參考文獻

• [1] Z. Allen-Zhu. Physics of language models: part 4.1, architecture design and the magic of canon layers. 收錄於 The Thirty-ninth Annual Conference on Neural Information Processing Systems. 引用於：附錄 A。
• S. Arora, S. Eyuboglu, A. Timalsina, I. Johnson, M. Poli, J. Zou, A. Rudra, and C. Re (2024a). Zoology: measuring and improving recall in efficient language models. 收錄於 The Twelfth International Conference on Learning Representations. 外部連結：Link. 引用於：§5.5。
• S. Arora, S. Eyuboglu, M. Zhang, A. Timalsina, S. Alberti, J. Zou, A. Rudra, and C. Re (2024b). Simple linear attention language models balance the recall-throughput tradeoff. 收錄於 Forty-first International Conference on Machine Learning. 外部連結：Link. 引用於：附錄 A, §1, §1, §5.3。
• S. Arora, B. Yang, S. Eyuboglu, A. Narayan, A. Hojel, I. Trummer, and C. Ré (2023). Language models enable simple systems for generating structured views of heterogeneous data lakes. arXiv preprint arXiv:2304.09433. 引用於：§5.3。
• Y. Bai, X. Lv, J. Zhang, H. Lyu, J. Tang, Z. Huang, Z. Du, X. Liu, A. Zeng, L. Hou, Y. Dong, J. Tang, and J. Li (2024). LongBench: a bilingual, multitask benchmark for long context understanding. 收錄於 ACL (1), pp. 3119–3137. 外部連結：Link. 引用於：§5.4, 表 4。
• A. Behrouz, Z. Li, P. Kacham, M. Daliri, Y. Deng, P. Zhong, M. Razaviyayn, and V. Mirrokni (2025a). Atlas: learning to optimally memorize the context at test time. arXiv preprint arXiv:2505.23735. 引用於：附錄 A, 附錄 A, 第 3 項, §3.1, §4.3, §4.3, §5.5。
• A. Behrouz, M. Razaviyayn, P. Zhong, and V. Mirrokni (2025b). Nested learning: the illusion of deep learning architectures. 收錄於 The Thirty-ninth Annual Conference on Neural Information Processing Systems. 外部連結：Link. 引用於：附錄 A, §2, §2, 註腳 1。
• A. Behrouz, M. Razaviyayn, P. Zhong, and V. Mirrokni (2026). It's all connected: a journey through test-time memorization, attentional bias, retention, and online optimization. 收錄於 The Fourteenth International Conference on Learning Representations. 外部連結：Link. 引用於：附錄 A, 附錄 A, 附錄 A, 附錄 B, §1, §2, §2, §2, 註腳 1。
• A. Behrouz, P. Zhong, and V. Mirrokni (2025c). Titans: learning to memorize at test time. 收錄於 The Thirty-ninth Annual Conference on Neural Information Processing Systems. 外部連結：Link. 引用於：附錄 A, 附錄 B, 第 3 項, §1, §4.3。
• A. Bietti, V. Cabannes, D. Bouchacourt, H. Jegou, and L. Bottou (2023). Birth of a transformer: a memory viewpoint. Advances in Neural Information Processing Systems 36, pp. 1560–1588. 引用於：§2。
• A. Bietti, V. Cabannes, D. Bouchacourt, H. Jegou, and L. Bottou (2024). Birth of a transformer: a memory viewpoint. Advances in Neural Information Processing Systems 36. 引用於：§1。
• Y. Bisk, R. Zellers, J. Gao, Y. Choi, et al. (2020). Piqa: reasoning about physical commonsense in natural language. 收錄於 Proceedings of the AAAI conference on artificial intelligence, Vol. 34, pp. 7432–7439. 引用於：附錄 B, §5。
• T. Brown, B. Mann, N. Ryder, M. Subbiah, J. D. Kaplan, P. Dhariwal, A. Neelakantan, P. Shyam, G. Sastry, A. Askell, et al. (2020). Language models are few-shot learners. Advances in neural information processing systems 33, pp. 1877–1901. 引用於：§1。
• R. Child, S. Gray, A. Radford, and I. Sutskever (2019). Generating long sequences with sparse transformers. arXiv preprint arXiv:1904.10509. 引用於：§1。
• C. Clark, K. Lee, M. Chang, T. Kwiatkowski, M. Collins, and K. Toutanova (2019). BoolQ: exploring the surprising difficulty of natural yes/no questions. 收錄於 Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), J. Burstein, C. Doran, and T. Solorio (Eds.), Minneapolis, Minnesota, pp. 2924–2936. 外部連結：Link, Document. 引用於：附錄 B, §5。
• P. Clark, I. Cowhey, O. Etzioni, T. Khot, A. Sabharwal, C. Schoenick, and O. Tafjord (2018). Think you have solved question answering? try arc, the ai2 reasoning challenge. arXiv preprint arXiv:1803.05457. 引用於：附錄 B, §5。
• G. Comanici, E. Bieber, M. Schaekermann, I. Pasupat, N. Sachdeva, I. Dhillon, M. Blistein, O. Ram, D. Zhang, E. Rosen, et al. (2025). Gemini 2.5: pushing the frontier with advanced reasoning, multimodality, long context, and next generation agentic capabilities. arXiv preprint arXiv:2507.06261. 引用於：§1。
• R. Csordás, C. Potts, C. D. Manning, and A. Geiger (2024). Recurrent neural networks learn to store and generate sequences using non-linear representations. 收錄於 Proceedings of the 7th BlackboxNLP Workshop: Analyzing and Interpreting Neural Networks for NLP, pp. 248–262. 引用於：附錄 A。
• Z. Dai, Z. Yang, Y. Yang, J. G. Carbonell, Q. V. Le, and R. Salakhutdinov (2019). Transformer-xl: attentive language models beyond a fixed-length context. 收錄於 ACL (1), A. Korhonen, D. R. Traum, and L. Màrquez (Eds.), pp. 2978–2988. 外部連結：ISBN 978-1-950737-48-2. 引用於：§1。
• T. Dao, B. Chen, N. S. Sohoni, A. Desai, M. Poli, J. Grogan, A. Liu, A. Rao, A. Rudra, and C. Ré (2022). Monarch: expressive structured matrices for efficient and accurate training. 收錄於 International Conference on Machine Learning, pp. 4690–4721. 引用於：附錄 A。
• T. Dao, A. Gu, M. Eichhorn, A. Rudra, and C. Ré (2019). Learning fast algorithms for linear transforms using butterfly factorizations. 收錄於 International conference on machine learning, pp. 1517–1527. 引用於：附錄 A。
• A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani, M. Minderer, G. Heigold, S. Gelly, J. Uszkoreit, and N. Houlsby (2021). An image is worth 16x16 words: transformers for image recognition at scale. 收錄於 International Conference on Learning Representations. 外部連結：Link. 引用於：§1。
• D. Dua, Y. Wang, P. Dasigi, G. Stanovsky, S. Singh, and M. Gardner (2019). DROP: a reading comprehension benchmark requiring discrete reasoning over paragraphs. arXiv preprint arXiv:1903.00161. 引用於：§5.3。
• P. M. Fenwick (1994). A new data structure for cumulative frequency tables. Software: Practice and experience 24 (3), pp. 327–336. 引用於：§4.3。
• X. Gonzalez, A. Warrington, J. Smith, and S. Linderman (2024). Towards scalable and stable parallelization of nonlinear rnns. Advances in Neural Information Processing Systems 37, pp. 5817–5849. 引用於：附錄 A。
• H. Guo, S. Yang, T. Goel, E. P. Xing, T. Dao, and Y. Kim (2025). Log-linear attention. arXiv preprint arXiv:2506.04761. 引用於：附錄 A, 附錄 B, §4.3, §5。
• D. O. Hebb (2005). The organization of behavior: a neuropsychological theory. Psychology press. 引用於：附錄 A。
• D. Hendrycks and K. Gimpel (2016). Gaussian error linear units (gelus). arXiv preprint arXiv:1606.08415. 引用於：附錄 B。
• J. J. Hopfield (1982). Neural networks and physical systems with emergent collective computational abilities.. Proceedings of the national academy of sciences 79 (8), pp. 2554–2558. 引用於：附錄 A, 附錄 A。
• J. Y. Hu, D. Wu, and H. Liu (2024). Provably optimal memory capacity for modern hopfield models: transformer-compatible dense associative memories as spherical codes. arXiv preprint arXiv:2410.23126. 引用於：附錄 A。
• J. Hu, Y. Pan, J. Du, D. Lan, X. Tang, Q. Wen, Y. Liang, and W. Sun (2025). Improving bilinear RNN with closed-loop control. 收錄於 The Thirty-ninth Annual Conference on Neural Information Processing Systems. 外部連結：Link. 引用於：附錄 A。
• Y. Huang, J. Zhang, Z. Shan, and J. He (2024). Compression represents intelligence linearly. 收錄於 First Conference on Language Modeling. 外部連結：Link. 引用於：§1。
• K. Irie, I. Schlag, R. Csordas, and J. Schmidhuber (2021). Going beyond linear transformers with recurrent fast weight programmers. Advances in neural information processing systems 34, pp. 7703–7717. 引用於：附錄 A, §1。
• K. Irie, I. Schlag, R. Csordás, and J. Schmidhuber (2022). A modern self-referential weight matrix that learns to modify itself. 收錄於 International Conference on Machine Learning, pp. 9660–9677. 引用於：§1。
• K. Jordan, Y. Jin, V. Boza, Y. Jiacheng, F. Cecista, L. Newhouse, and J. Bernstein (2024). Muon: an optimizer for hidden layers in neural networks, 2024b. URL https://kellerjordan.github.io/posts/muon. 引用於：附錄 A。
• J. Jumper, R. Evans, A. Pritzel, T. Green, M. Figurnov, O. Ronneberger, K. Tunyasuvunakool, R. Bates, A. Žídek, A. Potapenko, et al. (2021). Highly accurate protein structure prediction with alphafold. nature 596 (7873), pp. 583–589. 引用於：§1。
• Y. Kang, G. Tran, and H. De Sterck (2023). Fast multipole attention: a divide-and-conquer attention mechanism for long sequences. arXiv preprint arXiv:2310.11960. 引用於：附錄 A。
• J. Kaplan, S. McCandlish, T. Henighan, T. B. Brown, B. Chess, R. Child, S. Gray, A. Radford, J. Wu, and D. Amodei (2020). Scaling laws for neural language models. arXiv preprint arXiv:2001.08361. 引用於：§1。
• M. Karami and V. Mirrokni (2025). Lattice: learning to efficiently compress the memory. 引用於：附錄 A。
• A. Katharopoulos, A. Vyas, N. Pappas, and F. Fleuret (2020). Transformers are rnns: fast autoregressive transformers with linear attention. 收錄於 International conference on machine learning, pp. 5156–5165. 引用於：附錄 A, 第 3 項, §1, §2, §2, §2, §3.1, §3, §4.1, §4.3, §4.3, §4.3。
• A. Kembhavi, M. Seo, D. Schwenk, J. Choi, A. Farhadi, and H. Hajishirzi (2017). Are you smarter than a sixth grader? textbook question answering for multimodal machine comprehension. 收錄於 Proceedings of the IEEE Conference on Computer Vision and Pattern recognition, pp. 4999–5007. 引用於：§5.3。
• N. Kitaev, Ł. Kaiser, and A. Levskaya (2020). Reformer: the efficient transformer. arXiv preprint arXiv:2001.04451. 引用於：附錄 A。
• D. Krotov and J. J. Hopfield (2016). Dense associative memory for pattern recognition. Advances in neural information processing systems 29. 引用於：附錄 A。
• D. Krotov (2021). Hierarchical associative memory. arXiv preprint arXiv:2107.06446. 引用於：附錄 A。
• Y. Kuratov, A. Bulatov, P. Anokhin, I. Rodkin, D. I. Sorokin, A. Sorokin, and M. Burtsev (2024). BABILong: testing the limits of LLMs with long context reasoning-in-a-haystack. 收錄於 The Thirty-eight Conference on Neural Information Processing Systems Datasets and Benchmarks Track. 外部連結：Link. 引用於：§1。
• T. Kwiatkowski, J. Palomaki, O. Redfield, M. Collins, A. Parikh, C. Alberti, D. Epstein, I. Polosukhin, J. Devlin, K. Lee, et al. (2019). Natural questions: a benchmark for question answering research. Transactions of the Association for Computational Linguistics 7, pp. 453–466. 引用於：§5.3。
• A. Li, B. Gong, B. Yang, B. Shan, C. Liu, C. Zhu, C. Zhang, C. Guo, D. Chen, D. Li, et al. (2025). Minimax-01: scaling foundation models with lightning attention. arXiv preprint arXiv:2501.08313. 引用於：附錄 A, §4.3。
• S. Li, X. Jin, Y. Xuan, X. Zhou, W. Chen, Y. Wang, and X. Yan (2019). Enhancing the locality and breaking the memory bottleneck of transformer on time series forecasting. Advances in neural information processing systems 32. 引用於：附錄 A。
• X. Li, Y. Li, Y. Liang, Z. Shi, and Z. Song (2024). On the expressive power of modern hopfield networks. arXiv preprint arXiv:2412.05562. 引用於：附錄 A。
• Y. H. Lim, Q. Zhu, J. Selfridge, and M. F. Kasim (2024). Parallelizing non-linear sequential models over the sequence length. 收錄於 The Twelfth International Conference on Learning Representations. 外部連結：Link. 引用於：附錄 A。
• B. Liu, R. Wang, L. Wu, Y. Feng, P. Stone, and Q. Liu (2024). Longhorn: state space models are amortized online learners. arXiv preprint arXiv:2407.14207. 引用於：附錄 A。
• C. Lockard, P. Shiralkar, and X. L. Dong (2019). Openceres: when open information extraction meets the semi-structured web. 收錄於 Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3047–3056. 引用於：§5.3。
• E. Lu, Z. Jiang, J. Liu, Y. Du, T. Jiang, C. Hong, S. Liu, W. He, E. Yuan, Y. Wang, Z. Huang, H. Yuan, S. Xu, X. Xu, G. Lai, Y. Chen, H. Zheng, J. Yan, J. Su, Y. Wu, Y. Zhang, Z. Yang, X. Zhou, M. Zhang, and J. Qiu (2025). MoBA: mixture of block attention for long-context LLMs. 收錄於 The Thirty-ninth Annual Conference on Neural Information Processing Systems. 外部連結：Link. 引用於：附錄 A。
• C. Lucibello and M. Mézard (2024). Exponential capacity of dense associative memories. Physical Review Letters 132 (7), pp. 077301. 引用於：附錄 A。
• S. Merity, C. Xiong, J. Bradbury, and R. Socher (2017). Pointer sentinel mixture models. 收錄於 International Conference on Learning Representations. 外部連結：Link. 引用於：附錄 B, §5。
• W. Merrill, J. Petty, and A. Sabharwal (2024). The illusion of state in state-space models. 收錄於 Forty-first International Conference on Machine Learning. 外部連結：Link. 引用於：附錄 A, §1。
• T. Munkhdalai, M. Faruqui, and S. Gopal (2024). Leave no context behind: efficient infinite context transformers with infini-attention. arXiv preprint arXiv:2404.07143. 引用於：附錄 A。
• T. Munkhdalai, A. Sordoni, T. Wang, and A. Trischler (2019). Metalearned neural memory. Advances in Neural Information Processing Systems 32. 引用於：附錄 A。
• T. Munkhdalai and H. Yu (2017). Neural semantic encoders. 收錄於 Proceedings of the conference. Association for Computational Linguistics. Meeting, Vol. 1, pp. 397. 引用於：附錄 A。
• T. Nguyen, V. Suliafu, S. Osher, L. Chen, and B. Wang (2021). Fmmformer: efficient and flexible transformer via decomposed near-field and far-field attention. Advances in neural information processing systems 34, pp. 29449–29463. 引用於：附錄 A。
• D. Paperno, G. Kruszewski, A. Lazaridou, N. Q. Pham, R. Bernardi, S. Pezzelle, M. Baroni, G. Boleda, and R. Fernandez (2016). The LAMBADA dataset: word prediction requiring a broad discourse context. 收錄於 Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), K. Erk and N. A. Smith (Eds.), Berlin, Germany, pp. 1525–1534. 外部連結：Link, Document. 引用於：附錄 B, §5。
• Y. Park, M. Seo, and H. Jeon (2025). VideoTitans: scalable video prediction with integrated short- and long-term memory. 收錄於 The Thirty-ninth Annual Conference on Neural Information Processing Systems. 外部連結：Link. 引用於：§1。
• G. Penedo, H. Kydlíček, A. Lozhkov, M. Mitchell, C. A. Raffel, L. Von Werra, T. Wolf, et al. (2024). The fineweb datasets: decanting the web for the finest text data at scale. Advances in Neural Information Processing Systems 37, pp. 30811–30849. 引用於：§5。
• B. Peng, E. Alcaide, Q. G. Anthony, A. Albalak, S. Arcadinho, S. Biderman, H. Cao, X. Cheng, M. N. Chung, L. Derczynski, X. Du, M. Grella, K. K. GV, X. He, H. Hou, P. Kazienko, J. Kocon, J. Kong, B. Koptyra, H. Lau, J. Lin, K. S. I. Mantri, F. Mom, A. Saito, G. Song, X. Tang, J. S. Wind, S. Wozniak, Z. Zhang, Q. Zhou, J. Zhu, and R. Zhu (2023). RWKV: reinventing RNNs for the transformer era. 收錄於 The 2023 Conference on Empirical Methods in Natural Language Processing. 外部連結：Link. 引用於：附錄 A, §2。

本段摘要

本段深入探討記憶體快取（MC）在長上下文理解、多查詢關聯召回（MQAR）等任務中的實驗結果，並通過消融研究驗證了各項設計選擇（如上下文依賴性、閘道機制、線性記憶模組）的有效性。研究顯示，MC 變體在保持高效率的同時，顯著提升了模型在長序列任務中的表現，特別是在處理長上下文時優於傳統 Transformer 模型。此外，本段亦提供了完整的實驗數據表格與相關文獻引用，佐證 MC 技術的實用性與擴展性。

B. Peng, D. Goldstein, Q. Anthony, A. Albalak, E. Alcaide, S. Biderman, E. Cheah, X. Du, T. Ferdinan, H. Hou, 等人 (2024). Eagle and finch: rwkv with matrix-valued states and dynamic recurrence. arXiv preprint arXiv:2404.05892. 引用於：附錄 A.

M. Poli, S. Massaroli, E. Nguyen, D. Y. Fu, T. Dao, S. Baccus, Y. Bengio, S. Ermon, and C. Ré (2023). Hyena hierarchy: towards larger convolutional language models. 收錄於 International Conference on Machine Learning, pp. 28043–28078. 引用於：§1.

D. Prados and S. Kak (1989). Neural network capacity using delta rule. Electronics Letters 25 (3), pp. 197–199. 引用於：附錄 A.

S. Qiu, A. Potapczynski, M. Finzi, M. Goldblum, and A. G. Wilson (2024). Compute better spent: replacing dense layers with structured matrices. arXiv preprint arXiv:2406.06248. 引用於：附錄 A.

P. Rajpurkar, J. Zhang, K. Lopyrev, and P. Liang (2016). Squad: 100,000+ questions for machine comprehension of text. arXiv preprint arXiv:1606.05250. 引用於：§5.3.

H. Ramsauer, B. Schäfl, J. Lehner, P. Seidl, M. Widrich, L. Gruber, M. Holzleitner, T. Adler, D. Kreil, M. K. Kopp, G. Klambauer, J. Brandstetter, and S. Hochreiter (2021). Hopfield networks is all you need. 收錄於 International Conference on Learning Representations. 外部連結：Link. 引用於：附錄 A, §1.

L. Ren, Y. Liu, Y. Lu, Y. Shen, C. Liang, and W. Chen (2024). Samba: simple hybrid state space models for efficient unlimited context language modeling. arXiv preprint arXiv:2406.07522. 引用於：表 1.

K. Sakaguchi, R. L. Bras, C. Bhagavatula, and Y. Choi (2021). Winogrande: an adversarial winograd schema challenge at scale. Communications of the ACM 64 (9), pp. 99–106. 引用於：附錄 B, §5.

M. Sap, H. Rashkin, D. Chen, R. Le Bras, and Y. Choi (2019). Social IQa: commonsense reasoning about social interactions. 收錄於 Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), K. Inui, J. Jiang, V. Ng, and X. Wan (Eds.), Hong Kong, China, pp. 4463–4473. 外部連結：Link, Document. 引用於：附錄 B, §5.

I. Schlag, K. Irie, and J. Schmidhuber (2021). Linear transformers are secretly fast weight programmers. 收錄於 International Conference on Machine Learning, pp. 9355–9366. 引用於：附錄 A, 附錄 A, §2.

J. Schmidhuber (1992). Learning to control fast-weight memories: an alternative to recurrent nets. accepted for publication in. Neural Computation. 引用於：附錄 A, 附錄 A.

J. Schmidhuber (1993). Reducing the ratio between learning complexity and number of time varying variables in fully recurrent nets. 收錄於 ICANN'93: Proceedings of the International Conference on Artificial Neural Networks Amsterdam, The Netherlands 13–16 September 1993 3, pp. 460–463. 引用於：附錄 A.

M. Schöne, B. Rahmani, H. Kremer, F. Falck, H. Ballani, and J. Gladrow (2025). Implicit language models are rnns: balancing parallelization and expressivity. arXiv preprint arXiv:2502.07827. 引用於：附錄 A.

N. Shazeer, *. Mirhoseini, *. Maziarz, A. Davis, Q. Le, G. Hinton, and J. Dean (2017). Outrageously large neural networks: the sparsely-gated mixture-of-experts layer. 收錄於 International Conference on Learning Representations. 外部連結：Link. 引用於：§3.3.

J. Siems, T. Carstensen, A. Zela, F. Hutter, M. Pontil, and R. Grazzi (2025). DeltaProduct: increasing the expressivity of deltanet through products of householders. arXiv preprint arXiv:2502.10297. 引用於：附錄 A.

J. T.H. Smith, A. Warrington, and S. Linderman (2023). Simplified state space layers for sequence modeling. 收錄於 The Eleventh International Conference on Learning Representations. 外部連結：Link. 引用於：附錄 A.

Y. Sun, X. Li, K. Dalal, J. Xu, A. Vikram, G. Zhang, Y. Dubois, X. Chen, X. Wang, S. Koyejo, 等人 (2024). Learning to (learn at test time): rnns with expressive hidden states. arXiv preprint arXiv:2407.04620. 引用於：附錄 A, 附錄 A.

Y. Sun, L. Dong, S. Huang, S. Ma, Y. Xia, J. Xue, J. Wang, and F. Wei (2023). Retentive network: a successor to transformer for large language models. arXiv preprint arXiv:2307.08621. 引用於：附錄 A, §1, §4.3.

M. Tiezzi, M. Casoni, A. Betti, T. Guidi, M. Gori, and S. Melacci (2024). On the resurgence of recurrent models for long sequences: survey and research opportunities in the transformer era. arXiv preprint arXiv:2402.08132. 引用於：附錄 A.

Together AI (2024). Long data collections. 外部連結：Link. 引用於：§5.

A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, Ł. Kaiser, and I. Polosukhin (2017). Attention is all you need. 收錄於 Advances in Neural Information Processing Systems, I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett (Eds.), Vol. 30. 外部連結：Link. 引用於：§1, §2.

J. Von Oswald, M. Schlegel, A. Meulemans, S. Kobayashi, E. Niklasson, N. Zucchet, N. Scherrer, N. Miller, M. Sandler, M. Vladymyrov, 等人 (2023). Uncovering mesa-optimization algorithms in transformers. arXiv preprint arXiv:2309.05858. 引用於：附錄 A.

K. A. Wang, J. Shi, and E. B. Fox (2025). Test-time regression: a unifying framework for designing sequence models with associative memory. arXiv preprint arXiv:2501.12352. 引用於：附錄 A, §2, §2.

M. Wortsman, G. Ilharco, S. Y. Gadre, R. Roelofs, R. Gontijo-Lopes, A. S. Morcos, H. Namkoong, A. Farhadi, Y. Carmon, S. Kornblith, 等人 (2022). Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time. 收錄於 International conference on machine learning, pp. 23965–23998. 引用於：§3.2.

S. Yang, J. Kautz, and A. Hatamizadeh (2024a). Gated delta networks: improving mamba2 with delta rule. arXiv preprint arXiv:2412.06464. 引用於：附錄 A, 附錄 A, 附錄 B.

S. Yang, B. Wang, Y. Shen, R. Panda, and Y. Kim (2024b). Gated linear attention transformers with hardware-efficient training. 收錄於 Forty-first International Conference on Machine Learning. 外部連結：Link. 引用於：附錄 A, §2.

S. Yang, B. Wang, Y. Zhang, Y. Shen, and Y. Kim (2024c). Parallelizing linear transformers with the delta rule over sequence length. Advances in Neural Information Processing Systems 37, pp. 115491–115522. 引用於：附錄 A, 附錄 A.

R. Zellers, A. Holtzman, Y. Bisk, A. Farhadi, and Y. Choi (2019). HellaSwag: can a machine really finish your sentence?. 收錄於 Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, A. Korhonen, D. Traum, and L. Marquez (Eds.), Florence, Italy, pp. 4791–4800. 外部連結：Link, Document. 引用於：附錄 B, §5.

Z. Zeng, S. Pal, J. Kline, G. M. Fung, and V. Singh (2022). Multi resolution analysis (mra) for approximate self-attention. 收錄於 International conference on machine learning, pp. 25955–25972. 引用於：附錄 A.

T. Zhang, S. Bi, Y. Hong, K. Zhang, F. Luan, S. Yang, K. Sunkavalli, W. Freeman, and H. Tan (2025). Test-time training done right. arXiv preprint arXiv:2505.23884. 引用於：附錄 A, 附錄 B.

H. Zhou, S. Zhang, J. Peng, S. Zhang, J. Li, H. Xiong, and W. Zhang (2021). Informer: beyond efficient transformer for long sequence time-series forecasting. 收錄於 Proceedings of the AAAI conference on artificial intelligence, Vol. 35, pp. 11106–11115. 引用於：附錄 A.

附錄 A 相關文獻

線性記憶模組。 近期的研究致力於緩解 Transformer 在解決複雜問題時面臨的二次方複雜度、上下文長度限制以及表達能力不足等問題，這促使了高效能循環替代方案的發展，這些方案能提供更快的推論與訓練速度 (Tiezzi 等人，2024)。更具體地說，Katharopoulos 等人 (2020) 指出，在計算注意力結果時，若以可分離的核心函數（separable kernel）替換 softmax，即可導出線性注意力的表述，使其能進行遞迴計算。基於此見解，多項研究專注於提升線性注意力的效能，縮小其與二次方 Transformer 之間的差距。為此，RetNet (Sun 等人，2023)、RWKV (Peng 等人，2023)、Lightning Attention (Li 等人，2025) 以及 S5 (Smith 等人，2023) 在線性注意力的公式中引入了遺忘閘道（forget gate）機制。隨後，其他研究進一步調整這些公式，透過使線性注意力架構中既有的遺忘閘道依賴於輸入，以適應需要更具選擇性遺忘的任務 (Yang 等人，2024b; Peng 等人，2024)。與此同時，Schlag 等人 (2021) 提出了 DeltaNet，這是一種基於 Delta 法則（Delta-rule）的循環神經網絡遞迴學習更新替代方案，旨在改善線性注意力模型的記憶管理。後來，多項研究設計了不同的演算法來訓練 Delta 更新規則 (Yang 等人，2024c; Sun 等人，2024; Liu 等人，2024)。此外，基於這些現有技術——涵蓋遺忘閘道、學習演算法及訓練演算法設計——並加以整合，近年來已設計出多種線性注意力模組的變體 (Yang 等人，2024a; c; a; Allen-Zhu; Liu 等人，2024)。最近，Siems 等人 (2025) 透過對每個 token 應用多次更新，增強了 Delta 法則模型，從而提升了狀態追蹤的表達能力。除了線性循環模型外，還有幾項研究探討了具有非線性遞迴但採用線性矩陣值記憶體的 RNN (Csordás 等人，2024; Merrill 等人，2024; Lim 等人，2024; Behrouz 等人，2026; 2025a; Schöne 等人，2025; Karami and Mirrokni, 2025; Von Oswald 等人，2023; Gonzalez 等人，2024; Hu 等人，2025)，並著重於加速其訓練過程 (Gonzalez 等人，2024; Lim 等人，2024; Schöne 等人，2025)。

深層記憶模組。 另一條研究路徑則專注於增強記憶模組的容量並改進其學習更新規則。Sun 等人 (2024) 提出了 TTT 層，這是一種快速權重程式（fast-weight program）(Schmidhuber, 1992)，其權重更新基於L₂-迴歸損失。Sun 等人 (2024) 討論了注意力機制與簡單線性注意力如何作為 TTT 層的特例，但將其他循環神經網絡排除在 TTT 層之外，主要原因是它們無法透過內部 L₂-迴歸損失準確還原，而這正是 TTT層的定義。Titans (Behrouz 等人，2025c) 建議採用更複雜的優化演算法，並以之取代梯度下降法。作為概念驗證，Titans 使用帶有動量與權重衰減的梯度下降法來優化內部 L₂-迴歸損失。基於 TTT 層的公式（即優化內部 L₂-迴歸損失），Wang 等人 (2025) 展示了如何近似L₂-迴歸損失，進而近似還原其他現代循環神經網絡。基於此見解，Wang 等人 (2025) 提出了一種高階注意力變體，其表達能力優於標準 softmax 注意力。與此同時，Behrouz 等人 (2026) 提出了「測試時記憶化（test-time memorization, TTM）」框架，該框架能根據任意目標在內部學習映射的關聯記憶概念，準確地還原出各種架構。事實上，與限制內部模型為 L₂-迴歸損失的 TTT 層 (Sun 等人，2024) 相反，TTM 建議基於關聯記憶概念設計架構，並包含四項設計選擇：(1) 記憶體的架構；(2) 內部目標函數；(3) 內部保留閘道；以及 (4) 內部優化演算法。

遵循此方向，鑑於為內部迴路選擇新的目標函數與優化演算法能促成更具表達力的架構發展 (Behrouz 等人，2026)，近期已出現新一代透過改變內部目標函數而產生的架構。Moneta 和 Yaad 分別將 L₂-迴歸損失替換為 L_p 和 Huber 損失。Atlas (Behrouz 等人，2025a) 引入了 Omega 學習法則，它不是針對最後一個 token 更新記憶，而是針對過去數據的局部上下文進行更新。該研究進一步建議使用 Muon (Jordan 等人，2024) 作為內部優化器。Zhang 等人 (2025) 將 L₂-迴歸損失替換為點積相似度，並建議使用較大的區塊大小以提升訓練效率。最近，為了進一步提升機器學習模型的長期記憶能力，Behrouz 等人 (2025b) 提出了連續記憶系統（Continuum Memory System, CMS），該系統建議不需替換注意力區塊，而是將 Transformer 中單一的靜態 MLP 區塊替換為多個 MLP 區塊，每個區塊根據當前任務需求，以端到端方式按各自頻率進行更新（更新方式與 MLP 區塊相同）。這種由注意力機制與多個動態 MLP 區塊組成的架構稱為 Hope-attention，其展現出比傳統 Transformer 更優異的長上下文理解能力。

快速權重程式與元學習。 將線性層視為鍵值關聯記憶系統的觀點可追溯至 Hopfield 網絡 (Hopfield, 1982)。此概念後來透過快速權重程式（fast weight programmers）的發展得到擴展，即將動態快速程式整合至循環神經網絡中，作為可寫入的記憶儲存庫 (Schlag 等人，2021; Schmidhuber, 1992; 1993)。在此類系統的學習範式中，Hebbian 學習 (Hebb, 2005) 與 Delta 法則 (Prados and Kak, 1989) 最為突出。這兩項法則在文獻中已得到廣泛研究 (Munkhdalai and Yu, 2017; Schmidhuber, 1992; Munkhdalai 等人，2019; Schlag 等人，2021; Irie 等人，2021; Yang 等人，2024c; a)。

Hopfield 網絡。 我們的公式建立在關聯記憶的廣泛概念之上，其目標在於學習鍵值之間的映射。Hopfield (1982) 的開創性工作引入了 Hopfield 網絡，這是最早明確基於關聯記憶的神經架構之一，其形式化是透過最小化能量函數來儲存鍵值對。儘管經典 Hopfield 網絡因向量值記憶容量及其能量函數結構的限制而應用減少，但近期的研究試圖透過多種方法提升其容量 (Krotov, 2021; Li 等人，2024; Krotov and Hopfield, 2016)。特別是，已有研究探索了使用指數核心函數擴展其能量函數 (Krotov and Hopfield, 2016; Lucibello and Mézard, 2024)。此外，現代 Hopfield 網絡與 Transformer 架構之間的關聯性也成為積極探討的議題 (Ramsauer 等人，2021; Hu 等人，2024)。

高效能注意力機制。 除了循環架構外，近期工作亦提出使用結構化矩陣來提升 token 混合與通道混合層的效率。例如，Butterfly 矩陣 (Dao 等人，2019)、Monarch 矩陣 (Dao 等人，2022) 以及 Block Tensor-Train 矩陣 (Qiu 等人，2024) 提供了緊湊且具表達力的參數化方式，減輕了密集投影的計算負擔。其他方法則設計稀疏或混合注意力機制，例如滑動視窗注意力，或結合局部遞迴與選擇性長程連接的模型 (Nguyen 等人，2021; Arora 等人，2024b; Munkhdalai 等人，2024)。另一類方法將注意力的二次方複雜度降低至接近對數線性時間。經典案例包括 Reformer (Kitaev 等人，2020)，其使用局部敏感哈希（locality-sensitive hashing）將查詢與鍵進行分群；以及 LogSparse Transformer (Li 等人，2019) 和 Informer (Zhou 等人，2021)，它們依賴結構化稀疏模式以提升長序列與時間序列任務的效率。後續研究引入了更精細的設計，例如多解析度注意力 (Zeng 等人，2022)，其從粗到細逐步優化注意力分數；以及 Fast Multipole Attention (Kang 等人，2023)，其調整快速多極子方法以實現可擴展的長程互動。另一組研究則專注於區塊或 token 級別的稀疏注意力模組。具體而言，Lu 等人 (2025) 提出了 MoBA，建議將序列分塊並在序列維度上執行 MoE。此設計不僅基於注意力模組，且與我們的 MoE 有根本差異：其注意力計算是針對每個區塊和 token 臨時進行的。在此，記憶狀態是預先計算的，無需臨時計算。最近，Guo 等人 (2025) 引入了 Log-Linear Attention，這是一個透過 Fenwick 樹分區組織、具有對數增長隱藏狀態集的線性注意力增強框架。此設計實現了 O(L log L) 的訓練複雜度與 O(log L) 的解碼記憶體需求，同時保留了硬體友善的平行化能力。

模型	區塊數	維度	頭數	峰值學習率	Token 數
760M	24	1536	16	1.25e-3	30B
1.3B	18	2048	8	7e-4	100B

附錄 B 實驗細節

在我們的實驗設置中，我們遵循近期關於循環模型的研究 (Yang 等人，2024a; Behrouz 等人，2025c; 2026; Zhang 等人，2025; Guo 等人，2025)，使用了 Wikitext (Merity 等人，2017)、LMB (Paperno 等人，2016)、PIQA (Bisk 等人，2020)、HellaSwag (Zellers 等人，2019)、WinoGrande (Sakaguchi 等人，2021)、ARC-easy (ARC-e) 與 ARC-challenge (ARC-c) (Clark 等人，2018)、SIQA (Sap 等人，2019) 以及 BoolQ (Clark 等人，2019) 等數據集。在訓練方面，我們使用 32K 的詞彙量，訓練長度為 4K 至 32K 個 token。我們採用 AdamW 優化器，學習率為 4e-4，並搭配餘弦退火調度（cosine annealing schedule），批次大小為 0.5M tokens，權重衰減為 0.1。對於記憶架構，除非另有說明，我們使用具有 2 層、擴展係數為 4 且激活函數為 GELU 的 MLP (Hendrycks and Gimpel, 2016)。我們亦在每個區塊的末尾使用殘差連接與層歸一化（layer norm）：M(x) = x + W₁σ(W₂x)。