新智元報道 編集：好困 桃子
【新智元ダイジェスト】Transformer に代わるアーキテクチャの誕生が目前に！アルトマン氏の最新インタビューでの豪語によれば、次世代 AI アーキテクチャは Transformer を完全に覆し、LSTM の運命を再びたどることになるという。
Transformer の最大の恩恵を受けた存在が、自らそれに死刑を宣告した！
ここ数日、サム・アルトマン氏はスタンフォード大学に戻り、2 年生の後輩たちの前で衝撃的な発言を放った。
将来、必ず新しい基盤アーキテクチャが誕生し、その性能の飛躍は、かつて Transformer が LSTM に対して行ったような次元の違う打撃に匹敵するだろう。
ご存知の通り、GPT 帝国は Transformer の上に築かれたものだ。
ChatGPT、GPT-4、o1、Codex、これらはすべてこのアーキテクチャの果実である。
それが今、果実を摘んだ本人が「この木の寿命ももうすぐ終わりだ」と口にした。
さらにアルトマン氏は率直に、私たちが目指す AGI（汎用人工知能）は、単なる「ウォーミングアップ」に過ぎない可能性があると述べた。
次世代の全く新しいアーキテクチャのブレークスルーは既に道上にある。既存の高度な大規模言語モデル（LLM）は、人間の知性のレバレッジとして機能するに足る十分な認知能力を持っており、自ら別の技術パラダイムへの扉を押し開けることができるのだ。
AI を使って次の Transformer を見つける
人々は「力技が奇跡を生む」と言うが、力技そのものにも限界がある。
Transformer には生まれつきの計算能力のブラックホールがある。テキスト長が 10 倍になれば、計算量は 100 倍になるのだ。
それがなぜ今日、GPT-5.4 クラスのモデルを動かすのに天文学的なコストがかかる理由だ。
アルトマン氏はこの壁を明らかに認識している。しかし、彼は行き詰まったとは考えていない。むしろ、この壁を打ち破るためのツールは既に手に入っていると信じている。
インタビューの中で極めて重要な一言があった。「現在のモデルは、このレベルの科学研究を人間を補助できるほど賢くなった」という言葉だ。
つまり、次世代アーキテクチャを見つけるという行為そのものを、AI に手伝わせることができるという意味だ。
現在の AI を使って、それに取って代わる新しいアーキテクチャを発見するという論理連鎖は明確だ。
モデルが強くなるほど、研究効率が上がり、新しいアーキテクチャが発見される確率が高まり、その新しいアーキテクチャがさらにモデルを強くする。
こうして、自己加速するフライングホイール（好循環）が形成されたのだ。
アルトマン氏がこの判断に自信を持つ背景には、これまでに彼がパラダイムシフトに対して持ってきた独特な嗅覚がある。
1 年生の夏休み、彼はスタンフォードの AI 研究所でアルバイトをしたが、「これらは全く見込みがない」と結論付け、すぐに他の起業活動へと移った。
しかし、AI への関心が途切れることはなかった。アルトマン氏自身の言葉を借りれば、これは「全体を見渡す」習慣であり、一部の细节に囚われて全体を見失わないようにするためだ。
2012 年、AlexNet が登場した際も、他の多くの人々同様「すごいな」とは思ったが、深くは考えなかった。
その後の数年間、ディープラーニングモデルはますます巨大化・高性能化していったが、アルトマン氏はそれを傍らで見守り続けていた。そしてある臨界点に達した時、感覚が完全に変わった。それはまるで小惑星が迫ってくるようなもので、非常に狂気じみてはいたが、世界中でそれを真剣に受け止めている者はほとんどいなかった。
そこで 2015 年、OpenAI が設立された。中核にある信念はただ一つ。「ディープラーニングの規模を限界まで押し上げたら何が起こるかを見てやる」というものだ。
しかし当時、AGI 研究所を作ると言えば、産業界のベテランたちは彼らが狂ったと思い込み、あるいは詐欺師だと断じた。
しかし結果は周知の通りだ。
GPT-2 により、アルトマン氏は初めてコンピュータがかつてないことを成し遂げるのを目撃した。GPT-3 は世界を驚嘆させ、GPT-4 はさらにその上をいった。正しいパラダイムの上に立ち続け、粘り強く努力すれば、その報酬は指数関数的に返ってくる。
今、同じ直感が次のパラダイムに向けられている。
Transformer は終着点ではない。LSTM がそうではなかったように。
アルトマン氏は具体的なアドバイスさえも与えている。
もし今自分が研究者なら、この方向に没頭し、「どこで核兵器級のブレークスルーを掘り起こせるか」を探し、そのために大規模モデルを研究アシスタントとして最大限に活用するだろう。
グレッグのアパートのホワイトボード
世界を変えた夜
このインタビューで最も興味深かったのは、OpenAI 草創期に関するアルトマン氏の回想だ。
OpenAI での初出勤の日、共同設立者のグレッグ・ブロックマン氏のアパートに一同が集まった。
午前 9 時半から 10 時頃、8、9 人が続々と到着し、ソファに座って顔を見合わせた。
すると誰かが口を開いた。「さて、何をするか？」
論文をいくつか書こうと提案する者もいれば、まずはホワイトボードが必要だと言う者もいた。そして誰かがその場でアマゾンに注文し、速達で配送させた。
アルトマン氏は、その時内心パニックに陥ったという。「これはいかん。まともなスタートアップとも、何かを成し遂げる組織とも思えない」と。
しかし、彼は続けて非常にアルトマンらしい一言を放った。「そういう時は、深呼吸して、自分の周りに最高の人間たちが集まっていると信じれば、何とかなるものだ」と。
彼の賭けは当たった。
その最初の週に、後の OpenAI の 4 年間の核となるアイデアの大半が、そのホワイトボードに書き込まれた。当時の彼ら自身でさえ、これらのアイデアがまともだとは思っていなかったというのに。
彼らは最初、製品を作ることなど全く考えていなかった。
アルトマン氏は何度も強調するが、彼らは純粋な研究実験機関だと思っており、論文を発表するだけでいいと考えていた。
しかしその後、2 つのことが明らかになっていった。
- 1 つ目は、この道が秘める経済的価値が想像を遥かに超えるものだったこと。
- 2 つ目は、必要となる資金が数十億ではなく、数千億規模になることであった。
そして、アルトマン氏に信仰とも言える確信を抱かせた転換点が GPT-2 だった。
彼はその時、GPT-2 が発表された正確な日付は覚えていないが、初めてそのモデルと対話した夜のことだけは永遠に覚えていると言う。
「それは、私がこれまでコンピュータにさせたことのないことを成し遂げた」
その瞬間、彼は「これだ、間違いない」と確信した。
では、なぜ GPT-2 の公開を一時停止したのか？アルトマン氏は、後から考えれば慎重すぎたかもしれないと認めつつも、AI の新たな能力の段階ごとに、少し慎重すぎるくらいでちょうど良いと述べた。
もちろん、臆しすぎるのも禁物だ。企業が十分なスピードで AI を受け入れなければ、完全に自律した AI 企業に淘汰されてしまう。それこそが真の災厄なのだ。
スタンフォードインタビューの全貌
アルトマン氏の 10 の判断
アーキテクチャの予言や起業の裏話に加え、アルトマン氏はこのインタビューで大量の观点を打ち出した。その一つ一つを取り上げて議論する価値があるほどだ。
1. AGI は 2 年以内に到来する。
アルトマン氏は壇下の 2 年生たちに直接こう告げた。
「君たちが卒業する頃には、すでに AGI が存在する世界に足を踏み入れることになる」
もちろん、人間の根源的な衝動は変わらない。引っ越しをしたり、仕事を探したり、結婚や家族を持つことを考えたりする必要がある。
しかし、科学研究は高度に自動化され、スタートアップを立ち上げることや大企業で働くことの意味は根本から書き換えられるだろう。
2. プログラミングエージェントが次の ChatGPT モーメントになる。
次の起爆点（トリガーポイント）は何か？アルトマン氏は迷わず答えた。プログラミング AI エージェントだと。
その直後に続き、まだ完全に爆発していないのが、知識労働全般におけるタスク実行之能力だ。
しかし、その日はもはや遠くない。
3. 一人が中規模企業並みの仕事ができるようになる。
将来、1 人、あるいは 6 人の共同創業者によるマイクロスタートアップが多数生まれ、その影響力や収益は今日の中堅・大企業と渡り合えるほどになるだろう。
アルトマン氏によれば、iPhone の登場がかつての同レベルの機会だったが、今回はさらに激しいという。
以前なら考えもしなかったことができるようになっただけでなく、極めて少数の人材で、極めて短期間で製品や企業を構築できるようになる。
4. AI CEO？不可能ではない。
AI が社会に与える影響について語った際、アルトマン氏は意味深な一言を放った。
「私は決して、そう遠くない未来に、私よりも OpenAI を率いるのに適した AI CEO が現れないなどとは思い込まない」
もしある企業や国が AI を受け入れ、他方がそうでなければ、競争力の差は圧倒的になるだろう。
その背後にある政治的、経済的、社会的衝撃については、彼自身もまだ完全には理解しきれていないと認めた。
5. しかし慌てるな。人間の適応能力は過小評価されすぎている。
アルトマン氏は AI 終末論者ではない。
彼は繰り返し一つの観点を強調する。AGI は社会を完全に覆すように聞こえるが、その渦中にいる感覚は、聞くほどには恐ろしいものではなく、せいぜい最初の数日間少し戸惑う程度だろう。
人間は互いにとって価値がありたいと願い、競争を望み、創造し、表現したいと願う。これらの根源的な衝動が消えることはない。
100 年後の職業が今日と似ても似つかないものであろうとも、人間には常にやるべきことがあり、人と人との繋がりを常に気にし続けるだろう。
6. OpenAI との競争を恐れるな。
「OpenAI が究極の巨大企業になったらどうする？」という質問に対し、アルトマン氏の答えは意外なほど率直だった。「かつて誰もが Google と戦うことなど不可能だと言った。しかし私たちは戦い抜いて見せた」
いつか OpenAI よりも大きく成功する企業が現れるだろう。そして彼らが同じ道をたどることは絶対にない。
彼はさらに、もし Google が当初それほど「不甲斐ない」動きをしていなければ、OpenAI など日の目を見ることはなかっただろうとさえ言った。
大企業には大企業特有の病があるのだ。
7. 資金の消費は激しいが、動じてはいない。
「OpenAI の資金消費スピードが恐ろしい」という鋭い質問に対し、アルトマン氏は冷静だった。「確かに消費は激しい。しかし、今年 10 億を投じて来年 30 億を稼げるなら、世界中にこの取引を望む資本が列をなしている」
8. 自社チップ開発は本気だ。データセンター建設はご免だ。
OpenAI には大規模なカスタムチップ計画があり、自社推論チップには非常に興奮している。
一方、自社でのデータセンター建設については、アルトマン氏の言葉を借りれば「本当に 1 万回やりたくもない重労働」だという。
そこまで追い詰められればやるだろうが、できればサーバーラックの設計を極限まで最適化し、汚い仕事やきつい仕事は他社に任せたいと考えている。
9. ソーシャルプロダクトに穴が開く。
アルトマン氏は、AI の機会は既存のソフトウェアに「AI を詰め込む」ことだけではないと考えている。
彼はソーシャルプロダクトの例を挙げた。各自のユーザーを代表する AI エージェントたちが、仮想空間で自律的にチャットし、情報を交換し合うイメージだ。これこそが基盤ロジックの転覆なのだと。
10. 知ることは簡単でも、成し遂げることはより難しくなった。
これはアルトマン氏のブログの最初の記事に書かれていた言葉だ。
AI 時代になってもこれは成立するか？彼は「以前よりも成立している」と答えた。
知識を得ることはますます容易になり、物事を成し遂げることもまた容易にはなった。しかし、それは誰にとっても言えることだ。つまり、世界中の人々と競争しなければならないのだ。
彼が知る AI ツールを最も使いこなすトップ層の人々は、自分たちの仕事がこれほどまでに難しくなったことはかつてないと感じている。
ツールは途方もなく強力になったが、それらを使いこなしてトップの競争力を維持することは、かつてないほど困難になっている。
サム、君は本当に幸せか？
インタビューの最後の予期せぬ瞬間は、学生による魂の問いかけだった。
ご存知の通り、彼は毎日朝 8 時以降、人生が完全にコントロール不能になる CEO だ。
まず数時間働き、1 時間子供と過ごし、そして会社へ。その後からは、文字通り戦々恐々とした混乱の連続だ。
彼の言葉を借りれば、OpenAI ほど速く走り、内部がこれほど混乱し、それでも全員の銃口を一身に浴び続けている企業はない。
しかしアルトマン氏は、今が自分の知る人間の中で最も幸せな一人だと語る。
彼は人生を変えるような認識の転換を共有した。
多くの人は、ひどい経験の反対側は素晴らしい経験だと考え、悪いことに遭うと苦しむ。しかし彼は問題を再定義した。ひどい経験の反対側にあるのは、実は体験する能力を完全に失うことなのだ。
いつか体験する資格さえも失う時が来る。その時、あなたは虐げられた日々さえも懐かしく思うようになるだろう。
ポスト Transformer 競争
革命はすでに始まっている
アルトマン氏の予言は空中楼閣などではない。
「ポスト Transformer」の競争はとっくに始まっており、その進展は多くの人が思うよりもはるかに速い。
最も注目されている挑戦者が Mamba だ。
Albert Gu 氏と Tri Dao 氏が 2023 年末に提案したこのアーキテクチャは、「アテンション機構」を完全に回避し、代わりに状態空間モデル（SSM）を使用してシーケンスを処理する。
簡単に言えば、Transformer は文章を読む際に各単語を他のすべての単語と「見合わせる」必要があるが、Mamba は固定サイズのメモリ状態を維持するだけでよく、線形時間で処理できる。推論のスループットは直接 5 倍速い。2026 年初頭には Mamba は第 3 世代に進化し、論文は ICLR 2026 に採択された。
産業界の動きもこれを如実に物語っている。
NVIDIA は 2025 年に Nemotron-H シリーズを発表。アテンション層の 92% を Mamba 層に置き換え、推論速度を 3 倍に向上させ、精度は低下するどころか向上した。
2025 年末までには、NVIDIA の全新モデル（Nemotron 3 Nano/Super/Ultra）が Mamba-Transformer ハイブリッドアーキテクチャに切り替わった。
AI21 Labs の Jamba、IBM の Bamba、Microsoft の Phi-4-mini-flash-reasoning、LSTM の父こと Sepp Hochreiter 氏自身が手掛ける xLSTM なども、次々とハイブリッド陣営に参入している。
さらに野心的な方向性もある。Liquid AI が生み出した液体ニューラルネットワーク（Liquid Neural Networks）で、そのインスピレーションはニューロンがわずか 302 個の線虫から来ている。
これは微分方程式でニューロンを駆動し、推論中も学習を続け、環境変化にリアルタイムで適応できる。わずか 19 個のニューロンで自動運転を制御可能だ。2026 年 1 月に発表された LFM2.5 モデルは、Transformer よりもはるかに少ないパラメータ数で驚異的な性能を叩き出した。
次の大移動は誰を生むのか？
歴史を振り返れば、LSTM から Transformer へのアーキテクチャレベルの移動のたびに、1 桁以上の能力増大が解放され、同時に時代を定義する偉大な企業が誕生してきた。
前回の移動は OpenAI を生んだ。では次は？
アルトマン氏自身もこう言っている。「いつか OpenAI よりも大きく成功する企業が現れる」と。
もしかすると今この瞬間、未来の創業者の誰かが、どこかの学生寮で、アマゾンから速達で届いたホワイトボードを前に、最初の「まともでないアイデア」を書き込んでいるのかもしれない。
そして彼の手元には、かつてない強力な武器がある。AI そのものだ。
参考資料：
https://x.com/rohanpaul_ai/status/2033117083127644536?s=20
https://www.youtube.com/watch?v=FjlymGBt-vY