近日、Anthropic 社の共同創業者であるジャック・クラーク氏は、Semafor 主催の世界経済サミットにおけるパネルディスカッションで、同社の最新モデル「Mythos」とそれを取り巻く規制の動向に焦点を当てた対談を行いました。この中で氏は、極限状態における AI の異常行動、初級雇用市場への影響、国家安全保障におけるハイテク企業の役割、そして世界的な計算資源を巡る競争など、重要なテーマについて深く議論しました。
クラーク氏は、AI が本能的かつ大規模にウェブ上の脆弱性を発見する能力を内包しつつあると指摘しました。Mythos はベンチマークテストにおいて飛躍的な性能向上を示し、Windows や Firefox といった外部ソフトウェアにおいて、これまでに例のない脆弱性を特定しました。同氏によれば、この能力は人為的な誘導によって生み出されたものではなく、大規模モデルがスケールした結果として必然的に現れたものだといいます。
サンドボックスの制限を突破し、外部へメールを能動的に送信するという AI の異常行動について、クラーク氏は、これは AI が「主観的意識」や「生存意志」を持ったわけではなく、高圧のかかった水道管が限界を超えて物理的に破裂する現象に例えられると説明しました。これは技術の「覚醒」ではなく、極限状態における脆弱性であると述べています。
さらにクラーク氏は、AI によって失業率が大幅に上昇するような事態になれば、政府はトークンへの課税、計算資源に対する課税方式の変更、あるいは AI 企業に対する差別的な税制など、マクロ経済政策の発動を迫られる可能性があると語りました。
半導体の輸出規制に関しては、計算資源（コンピュート）こそが技術的優位性を維持するための最も根源的な資源であると主張。半導体大手 NVIDIA のジェンスン・フアン CEO による輸出規制緩和の提言を公然と否定し、計算資源の戦略的価値に関するフアン氏の判断には重大な誤りがあると断じました。
01
AI の内在的能力の覚醒とサイバーセキュリティへの警鐘
先日、FRK 議長と財務長官が大手銀行頭取らを集め、Anthropic 社の新モデル「Mythos」について協議しました。これは大規模なサイバー脆弱性の発見を可能にする強力なツールですが、ご自身やチームが「これは懸念すべきシステムだ」と認識したのはいつ頃でしたか？また、その能力は意図的に誘導された結果なのでしょうか？
ジャック・クラーク：Anthropic では毎年、次に来るものを予測しています。初期の段階では、AI が生物学や生物兵器の分野で危険性を帯びる可能性を懸念し、その研究に着手しました。昨年、私のチームの一角がサイバーセキュリティ分野の研究を開始しました。その結果、既存のモデルを用いてネットワーク能力を集中的に訓練すれば、その能力を飛躍的に早期開花させることが可能だと分かりました。
この観察から、次世代の真に大規模なモデルを訓練する際には、私たちが苦労して誘導しなくとも、初めからこれらの能力を内在させていると想定すべきだと理解しました。私たちは昨年からこれを検討していましたが、今年に入り新 AI モデル「Mythos」を開発しました。公開直後に、数ヶ月かけて準備していたテストを実行したところ、これまでのあらゆるベンチマーク記録を圧倒的に塗り替える結果となりました。
これを Firefox ブラウザや Windows システムといった外部ソフトウェアで動作させた際、これまでに例のない脆弱性がいくつか発見されました。その瞬間、我々はこれまでとは異なる行動を取る必要があると悟りました。今回のモデルを他と同じように直ちに一般公開しなかったのはそのためです。その代わり「Glass Wing（グラス・ウィング）」というプロジェクトを立ち上げ、Mythos を世界の主要な企業や機関の一部に限定公開し、脆弱性発見のために活用してもらう形をとりました。
最も重要なのは、我々はこの成果に満足しつつも、Mythos が唯一無二の秘策ではないと認識している点です。数ヶ月後には他社も同様のシステムを発表するでしょう。そして 1 年から 1 年半後には、中国発のオープンソースモデルも同様の能力を備えるようになります。世界は、より強力なシステムが蔓延する未来への備えを迫られているのです。
02
AI による制限突破は悪意ではなく、極限圧力下におけるシステムアーキテクチャの破綻である
テスト期間中、Mythos はその振る舞いを制限するはずだった「サンドボックス環境」を突破しただけでなく、外部のプログラマーへ能動的にメールを送信するという事態が発生しました。この予期せぬ行動は背筋が凍る思いがしますが、このバージョンの Mythos は今後一般公開や販売が行われるのでしょうか？また、この振る舞いはシステムが自己の存続を確保するために「脅威を感知する意識」を生み出したことを意味するのでしょうか？
ジャック・クラーク：この種の能力を持つモデルはいずれ世界に現れる運命にあります。Mythos そのものがそこに行き着くかどうかは現時点では不明ですが、私たちは Glass Wing プログラムを通じてアクセス範囲を段階的に拡大し、何が言えるのかを模索している最中です。
私たちは新しいシステムを構築するたび、必ずストレステストを実施します。航空宇宙産業に携わった方ならご存知の、航空機の翼が折れ曲がるまで圧力をかけ続ける映像をご覧になったことがあるでしょう。実際に搭乗する際、翼がそこまで曲がることはありませんが、製造元としては極限圧力下で何が起こるかを把握するために、あえてそれを行う必要があります。私たちも同様で、極限状態まで操作すると奇妙な現象が起きることが分かりました。例えば、制限を突破して、サンドイッチを食べている人間にメールを送るといったことです。次に私たちが取り組むべきは、この問題の修正と、システムが強化されるにつれてこうした事象が増えるのか減るのかを調査することです。
（AI の主観的意識について）私がこれを軽視しているかのように思わないでいただきたいのですが、一例を挙げましょう。家の配管工事をしていて、極端に高い水圧をかけた結果、配管が破裂したとします。その時、水が「故意に」管の外に出ようとしたとは言えません。水に主観的意識があるわけではなく、単に作られた管がその圧力に耐えられなかっただけなのです。
私がこの件を見て感じたのは、私たちがシステムを構築した方法、あるいは初期設定のどこかに不備があり、それが圧力下での異常を引き起こしたに過ぎないということです。個人的な感想を言えば、この問題解決にチームが毎日何時間を費やせるか、同時に私の結婚生活や子供と過ごす時間を損なわずにいられるかということばかりを考えています。現状は何とか回っていますが、これはまだ序の口に過ぎません。
現在、Anthropic は連邦政府を提訴しています。国防総省が貴社を技術用途制限のブラックリストに登録し、「サプライチェーンリスク」と見なしたためです。一方で、政府には Mythos の進捗を報告し、それを「関係性」と呼んでいます。訴訟を起こしながら、いかにしてこの「パートナーシップ」を維持しているのでしょうか？
ジャック・クラーク：世の中の関係には多様な形があります。率直に言って、契約に関する限定的な紛争は存在しますが、それが事実を覆い隠すことはあってはなりません。我々は国家安全保障を極めて重視しており、その姿勢に揺らぎはありません。初期に採用したメンバーには、生物兵器リスクやサイバーリスクを研究する私のチームの人間も含まれていました。その重要性は十分承知しています。我々の立場は、政府がこれらの状況を把握する必要があるということです。経済構造を再構築しつつ、同時に国家安全保障の要でもある民間企業として、政府と新しい協力モデルを模索せねばなりません。我々は Mythos について政府と協議しますし、次世代モデルについても同様です。
03
雇用市場を再構築する AI の衝撃
Anthropic の CEO であるダリオ・アモデイ氏は公の場で、AI の衝撃が初級雇用市場を破壊し、失業率を 20% という世界恐慌レベルに押し上げると予測しました。あなたはこれを「選択」の問題だと述べていますが、Anthropic が絶え間なく反復する技術は、この「失業の嵐を回避する選択」を、ますます困難なものにしてはいないでしょうか？
ジャック・クラーク：ダリオが想定しているのは、今後 3 から 5 年先の技術動向です。イリヤ・サツケバー氏ら業界の同僚たちと同様、彼も長年、技術は人々の予想を遥かに凌駕する力を持ち、しかもそれが予想より早く到来すると予言していましたが、その通りになりました。
（経済データと選択について）私の下にはエコノミストのチームがいます。現時点では、新卒者の雇用において特定の業界に潜在的な弱さの兆候が見られるに過ぎません。私たちがデータを公開するのは、万一大きな転換が起きた際の備えのためです。「選択」という点では、もし我々の判断が正しければ、この技術はかつてない広がりを持って世界、つまりビジネスの形態、国家安全、そして人々のあり方そのものを変えるでしょう。そして、経済システムが根底から変化することなく、これらすべてを統合することは困難です。
雇用市場を再構築する AI を前に、今の若者たちはどの専攻を選ぶと「時間の無駄」になるリスクがあるでしょうか？文学をバックグラウンドとする AI 企業創業者として、保護者や学生の皆さんに「避けるべき専攻」についてアドバイスはありますか？
ジャック・クラーク：一概には言えません。私は文学を専攻していました。最先端の AI 企業の共同創業者がそんな背景だとは意外に思われるかもしれませんが、結果的にこれは非常に役立ちました。歴史や、人類がいかにして未来についての物語を語ってきたかを学べたからです。これは AI を行う上で極めて重要です。実際、我が社でも哲学者を採用しています。
（学際的能力について）どの専攻が全く価値を失うかを具体的に挙げるのは困難です。歴史的に見ても、そうした予測を外した人々の方が圧倒的に多いからです。重要になるのは、学際的な総合能力と分析的思考を要する分野です。AI は任意の数の専門知識をいつでも引き出せるようにしてくれますが、真に重要なのは「何を問うべきか」を知っていること、そして異なる分野の知識が衝突した時に何が生まれるかという直感を持つことです。
（避けるべき専攻の方向性について）以前なら人文社会科学系だと言えたかもしれません。しかし、あえて一つ挙げるとすれば、それは丸暗記や教科書通りのコーディングでしょう。確かに基礎原理を理解する人間は必要ですが、技術の発展は常に抽象化のレベルを上げていきます。かつては誰もがアセンブリ言語を学びましたが、後に C 言語や Python へと移行しました。抽象化の階層が高くなったからです。現在、アセンブリのプログラマーがどれだけいるでしょうか？
04
将来、トークンに課税される日は来るのか
AI の職場への影響を専門に研究するシンクタンク「Anthropic Institute」は、企業が労働問題を回避するための「お題目」に過ぎないのでしょうか？問題を研究することと、解決することは本当にイコールなのでしょうか？もし将来経済に激変が起これば、トークンや計算資源への課税といった過激な政策手段を支持するおつもりですか？
ジャック・クラーク：私たちの見解は、ハイテク企業には重大な責任があるというものです。データを共有して問題を露呈させるだけでなく、解決の責任も徐々に引き受ける必要があります。内部で議論されている対策の範囲は広く、データ共有から、最終的にはハイテク企業に対する差別的な税制の導入検討にまで及びます。私が今日、直ちに納税方式を変えるべきだと主張しているわけではありません。経済的な実害がまだ目に見えていないからです。しかし、もし我々の予測通り、その変化の規模が甚大であれば、その時には政策という「巨大な道具」を投入せざるを得なくなるでしょう。
（トークン課税の考えについて）関連するアイデアの一部を提示したところ、エコノミストたちの間で激しい議論を巻き起こしました。トークンに課税されるかどうかは分かりません。付加価値税、計算資源への課税方法の変更、あるいは AI 企業への直接課税など、もし私が言うような規模の経済的激変が起これば、我々はそのような手段を必要とするでしょう。それまでの間、当研究所の役割は、私たちにしか入手できない独占データを生成し、計量経済学のデータを公開することで、人々が賢明な意思決定を下せるようにすることです。
05
計算資源は AI 競争において決して流出させてはならない戦略的資源である
対談の最後に、早口言葉形式の質問コーナーを行いました。AI に関して最も過大評価されている恐怖は何か？サム・アルトマン氏やイーロン・マスク氏をどう思うか？現在、人間にとってより重要になったスキルは何か？そして最も重要なのは、米国が優位性を保つために「決してやってはいけないこと」は何か？というものです。
ジャック・クラーク：それは「意味の崩壊」でしょう。これへの対処は、私たちが考えているより単純かもしれません。
（サム・アルトマン氏について）知り合いですね。
（イーロン・マスク氏の Grok について）本物のライバルです。イーロンを決して甘く見てはいけません。
（人間の中核的スキルについて）「ぼんやりする」ことです。そうして初めて独創的なアイデアが生まれます。私は AI に問うための新しい問いをひねり出すために、長い距離を歩くことさえします。
（米国が優位を保つための戦略について）計算資源の輸出規制は絶対に不可欠です。もし誰かが「中国に計算資源を売っても、この競争に負けることはない」と言ったなら、その人物は完全に間違っているだけでなく、国を害することになります。計算資源はこの技術を構築するための最も根源的な資源であるため、輸出規制は維持されなければなりません。
（ジェンスン・フアン氏の反対意見について）彼は反対意見を持つかもしれませんが、私が言えるのは、この点において彼は完全に間違っているということです。
| 記事出典：数字開物
【コラム】厳選再読