編集｜山輝
10年以上前、Ilya Sutskeverはこのように語った。
「モデルは学習したがっているのだ。」
Dario AmodeiがインタビューでIlya Sutskeverの言葉を引用。出典：Dwarkesh Podcast。
データと計算資源の問題さえ解決できれば、モデルは自ら学習方法を見つけ出すはずだ。
その後に何が起きたか，我々は知っている。モデルはますます巨大化し、学習データは増え続け、計算資源への投入も右肩上がりとなり、モデルの能力が次々とアンロックされていったのだ。
しかし、研究者たちの目がリカレントネットワークと潜在空間に向けられたとき、状況は一変した。
リカレントモデルは潜在空間で繰り返し計算を行うことができる。構想によれば、同じネットワーク層を何度も実行することで、モデルにより多くの計算時間を与えられ、難題に直面してももう少し「思考」できるはずだった。
だが、現実はそれほど甘くはない。
多くのモデルは、学習時に見たリカレントの深さを使うことしか得意ではない。これ以上計算回数を増やそうとすると、誤った道を爆走し始める可能性があるのだ。
だから、こう冗談めかして言う人もいる。学習したがらないモデルが存在すると。
「多く語る」ことで「多く考える」
大規模モデルの「深い思考」を開いてみると、長々とした文章が表示される。
そこには無駄話が多く含まれているように見える。常に試行と自己否定を繰り返し、「考え直す必要がある」と独り言を言うこともある。
これはモデルの推論プロセスを示している。モデル内部の完全な計算プロセスとそのまま見なすことはできないが、現在のTransformerが難題を解決する最も成熟した方法が、モデルに「語りながら推論する」ことであることを示している。
標準的なTransformerは、ある意味で階数が固定された建物のようなものだからだ。
情報は1階から入り、各階を順に経て、最後に最上階から出る。「1+1はいくつ」であれ、複雑な数学の証明であれ、次のトークンを生成するたびに経由するネットワークの深さはほぼ同じである。
1回では足りなければ、何回か回せばいい。モデルはまずトークンを生成し、以前の文脈を抱えたまま次の計算ラウンドに入る。出力が長くなるほど、同じネットワーク群が呼び出される回数が増え、問題を分割する、答えを確認する、答えを修正するといったチャンスが増える。
この方法はかなり有効だ。元々はネットワークの深さが固定されていたTransformerでも、問題の難易度に応じて柔軟に計算量を割り当てられるようにした。易しい問題なら少なく、難しい問題なら多く語り、だめなら自分の複数の答えをぶつけ合うといった具合だ。
ただ、この思考方式は不便な点もある。
モデル内部に存在するのは高次元連続的な隠れ状態である。途中で必ず「語る」必要があるため、中間計算の多くも出力可能な順序列に構成しなければならない。言う必要のないステップであっても、モデルは何かを生成しない限り、前に進むことができないのだ。
そこで、もう一つの道が現れた。
ネットワーク層で直接循環する
リカレントモデルの発想は直接的だ。
ネットワークを1回通るだけでは足りないなら、特定のネットワーク層に戻ってもう一度通ればいい。1回の巡回ごとに、モデルは隠れ状態を1周更新し、再利用するのは元のパラメータ群だ。
思考連鎖はトークンを生成することで複数回の計算を繋ぎ合わせる；潜在空間循環は隠れ状態を同じネットワーク群で何度も更新する。出典：Tilde Research。
Universal Transformer、Deep Equilibrium Model、そして近年の リカレント Transformerは皆、同じ問題を探求している。モデルに、問題の難易度に応じて脳内で巡る回数を自ら判断させることはできるのか？
これは本当に可能なようだ。
2025年の潜在推論 研究 では、 リカレント深度 モデル を 35億 パラメータ まで拡張 し、 8000億 トークン で 学習 さ せ た 。 テスト 際 、 同 じ 計算 モジュール を 数 回 多 く 実行 さ せ る と 、 一部 の 推論 タスク に お い て モデル の 性能 が 引 き 続 き 向上 し 、 最大 で 500億 パラメータ モデル が 1 回 の 順伝播 で 行 う 計算量 に 相当 する も の ま で 利用 で き た 。
テスト時のループ回数が増えるにつれて、GSM8KやHumanEvalなどのタスクにおけるモデルのパフォーマンスが向上し続けた。ただし異なるタスクは異なる深さで飽和に達した。
しかし、この計算回数は多ければ多いほど良いというわけではない。
2025年に公開された リカレント 言語 モデル Ouro は 、 初期 段階 で 8 回 の リカレント 学習 を 試み た が 、 すぐ に 損失 の 急上昇 と 勾配 の 振動 が 発生 した 。 その ため 、 研究者 は 主 な 学習 段階 の リカレント 深度 を 4 回 に 減らし た 。
テスト では 、 リカレント 回数 を 引 き 続 き 8 回 に 増 や し た も の の 、 追加 の 計算 に よ っ て よ り 良 い 答 え は 得 ら れ な か っ た 。
1.4B パラメータの Ouro-Thinking を例に挙げると、AIME 2024でのスコアは最初のループでの0点から徐々に上昇し、第4ラウンドで65点に達した。しかし、そのまま第8ラウンドまで回すと、スコアは38.67点まで落ち込んでしまった。
つまり、増やした計算回数はむしろ邪魔になっていたのだ。
何が足りないのか
現在、 リカレント モデル が 乗り越えるべき 課題 は 大体 3 つ ある 。
第1に、理論上計算 可能 か 。 同 じ パラメータ 群 を共有 し 、 隠れ 状態 を リカレント 更新 する こと で 、 複雑な 計算 プロセス を 表現 で きる の か ？
第2に、モデルがこの計算方法を本当に学習できるか。
第3に、 学習 終了 後 、 モデル が 推論 段階 で 安定 し て 「計算し続けられる」か。
第1点については楽観的な結果がいくつか出ている。 後 2 つ の 課題 に 多 く の 困難 が 集 ま っ て いる 。
何度も呼び出しを行うと誤差が蓄積し、計算回数が増えた後の隠れ状態は一見安定しているように見えても、実際には結果を支えられないことがある。
2026年のParcaeの研究でも、 リカレント 言語 モデル で は 残差 の 爆発 と 損失 の 急上昇 が 発生しやすいことがわかった。
リカレント 中 の 安定 化 メカニズム を 再設計した後、モデルの検証セットのPPL（perplexity）は最大で6.3%低下した。13億パラメータにスケールアップした際も、固定されたパラメータ量とデータ量の下で従来の Transformer を ベースライン として 上回った 。
通常のリカレントベースラインはループ状態のノルムが急速に爆発し、トレーニングロスの低下が止まる。安定化メカニズムを組み込んだParcaeや残差正規化モデルは安定を保っている。
この結果は、「 モデル が 学習 を 望まない 」 という 物語 に 一筋 の 光 を 与える 。
今日の標準的な Transformer は、すでに長年すり合わせてきた学習装備を備えている。 残差 接続 、 正規化 、 初期 化 方法 、 学習 率 スケジュール 、 最適化手法 は 、 実操作 上 、 みな 馴染み 深 い 存在 だ 。
長年 ブラッシュアップ さ れ て き た 標準 Transformer に 比べる と 、 大規模 リカレント 言語 モデル の 学習 レシピ は ま だ はるかに 未成熟 で ある 。
アーキテクチャ、 最適化 手法 、 損失 関数 、 および 中間 監督 を ど のよう に 組み合わせ れ ば よ い の か 、 より 扱い やすい 組み合わせ を 見つけ出 す 必要 が ある だろう 。
参考リンク：
https://blog.tilderesearch.com/blog/one-layer-deeper
© THE END
転載については当 公衆号 の 許可 を 得る 必要が ある
投稿または取材依頼：liyazhou@jiqizhixin.com