AIは間もなく、自らを改造できるようになるのだろうか？
Anthropicの共同創業者であるジャック・クラーク氏は、ここ数週間で大量の公開AI開発データを精査した結果、2028年末までに「再帰的自己改善」が起こる確率は60%に達するとの見解を示した。
すなわち、AIシステムが自律的に自らを構築・改良し、自己加速的な段階へと突入する可能性が高いというのだ。
この見解は根拠のないものではない。彼は多数の公開ベンチマークを調査し、AIがAI研究開発関連のタスクにおいて非常に急速に進歩していることを発見した。
例えば、CORE-BenchはAIが他者の研究論文を再現する能力を評価するもので、AI研究において極めて重要な要素の一つだ。
PostTrainBenchは、強力なモデルがより弱いオープンソースモデルを自律的にファインチューニングして性能を向上させられるかをテストする。これはまさにAI研究開発タスクの重要なサブセットである。
MLE-Benchは実際のKaggleコンペティションのタスクに基づき、特定の問題を解決するための多様な機械学習アプリケーションの構築を要求する。さらに、SWE-Benchのような広く知られたコーディングベンチマークでも同様の進歩が見られる。
ジャック・クラーク氏はこの現象を「フラクタル」のような右上がりのトレンドと表現している。つまり、異なる解像度やスケールで意味のある進歩が観測できるという。彼は、AIがエンドツーエンドでの研究開発自動化の能力に徐々に近づいており、それが実現すれば、AIは自律的に自らの後継システムを構築し、自己反復のサイクルを開始できると考えている。
この発言はソーシャルメディア上で多くの議論を巻き起こした。
これをASIやシンギュラリティへの重要な第一歩と見なし、技術発展のペースを根本的に変える可能性があると捉える人もいる。
しかし、異論も存在する。
ワシントン大学のコンピューターサイエンス教授であるペドロ・ドミンゴス氏は、AIシステムは1950年代にLISP言語が発明された時点で既に「自己構築」能力を持っていたと指摘する。真の問題は逓増的なリターンを得られるかどうかであり、現時点ではそれを支持する明確な証拠はないと述べている。
あるネットユーザーは、2027年から2028年にかけて確率が一気に30%も上昇するということは、2027年末前後にAIの能力が突然の大ブレークスルーを起こすことを示唆しているのではないかと疑問を呈した。一体どの具体的なマイルストーンやイベントが、AIの再帰的自己改善確率を短期間で大幅に引き上げるのか、と。
また別のネットユーザーは、ジャック・クラーク氏はAnthropicの新たに任命された広報責任者であり、これは同社の新たな戦略の一環だと指摘する。「我々は単なる警告論者ではない。多数の論文が、我々が以前から警告してきたことを裏付けている」というメッセージだ。
ジャック・クラーク氏は、この件について「Import AI 455」のニュースレターで長文の記事を執筆し、詳細に解説している。
以下に、この記事の全容を紹介する。
AIシステムが自己構築を始めようとしている、これは何を意味するのか？
クラーク氏は、公開されているすべての情報を整理した結果、2028年末までに、人間の関与しないAI研究開発が実現する可能性は極めて高く、おそらく60%を超えるという、容易ならざる判断を下さざるを得なかったと述べている。
ここで言う「人間の関与しないAI研究開発」とは、人間の研究を支援するだけでなく、主要な開発プロセスを自律的に完了し、さらには自らの次世代システムを構築できるほど強力なAIシステムを指す。
クラーク氏にとって、これは明らかに重大な出来事だ。
彼は、この事態の意味を完全に消化することは自分でも難しいと率直に語る。
これを「不本意な判断」と称する理由は、その背後にある影響があまりにも巨大で、把握しきれないと感じるからだ。クラーク氏は、AI研究開発の自動化がもたらす深い変化に対して、社会全体が受け入れる準備ができているかどうかも確信が持てない。
彼は今、人類は特別な時点に生きている可能性があると信じている。それは、AI研究がまさにエンドツーエンドで自動化されようとしている瞬間だ。もしこの瞬間が本当に訪れれば、人類はルビコン川を渡り、ほとんど予測不可能な未来へと足を踏み入れることになる。
クラーク氏は、この記事の目的は、完全自動化されたAI研究開発への離陸がまさに起こりつつあると考える理由を説明することだと述べている。
彼はこのトレンドがもたらし得るいくつかの結果について議論するが、記事の大部分は、この判断を支える証拠に焦点を当てる。より深遠な影響については、クラーク氏は今年の大部分をかけて整理を続ける予定だ。
時期について言えば、クラーク氏はこれが2026年に実際に起こるとは考えていない。しかし、今後1～2年で、ある種のモデルが自身の後継モデルをエンドツーエンドで学習させる事例を目撃する可能性はあると考えている。少なくともフロンティアではないモデルにおいて、概念実証が登場する可能性は十分にある。最先端モデルに関しては、コストが極めて高く、多数の人間の研究者の集中的な作業に依存しているため、ハードルはより高いだろう。
クラーク氏の判断は主に、arXiv、bioRxiv、NBERの論文や、最先端AI企業が既に実世界に展開している製品といった公開情報に基づいている。これらの情報から、彼は一つの結論に達した。現在のAIシステムを生み出すために必要な各要素、特にAI開発における工学的コンポーネントの自動化は、基本的に既に実現可能である、と。
もしスケーリング則のトレンドが今後も続くならば、我々は次のような状況に備え始めるべきだ。すなわち、モデルは既知の手法を自動的に改善するだけでなく、全く新たな研究方向や独創的なアイデアを提案する上でも人間の研究者に取って代わり、それによってAIのフロンティアを自ら押し広げていく、という状況である。
コーディングのシンギュラリティ：時間経過に伴う能力変化
AIシステムはソフトウェアによって実現され、ソフトウェアはコードで構成される。
AIシステムは既にコードの生産方法を一変させた。その背後には二つの関連するトレンドがある。一方で、AIシステムは複雑な実世界のコードを書くことがますます巧みになっている。他方で、AIシステムは、ほぼ人間の監督なしに、コードを書いてからテストするといった、多くの線形的なコーディングタスクを連鎖的に完了することにも長けてきている。
このトレンドを示す典型的な二つの例が、SWE-BenchとMETRのタイムホライズンプロットだ。
実世界のソフトウェアエンジニアリング問題を解決する
SWE-Benchは、実際のGitHub issueを解決するAIシステムの能力を評価する、広く使用されているプログラミングテストである。
2023年末にSWE-Benchが発表された当時、最高性能のモデルはClaude 2で、全体の成功率はわずか約2%だった。しかし、Claude Mythos Previewのスコアは93.9%に達しており、基本的にこのベンチマークを極めつつある。
もちろん、すべてのベンチマークには何らかのノイズが伴うため、通常、スコアがある程度高くなると、手法自体の限界ではなく、ベンチマーク自体の限界に直面する段階が訪れる。例えば、ImageNetの検証セットでは、約6%のラベルが誤っているか曖昧である。
SWE-Benchは、汎用的なプログラミング能力と、ソフトウェアエンジニアリングに対するAIの影響力を測る信頼性の高い指標と見なせる。クラーク氏によれば、彼が最先端AIラボやシリコンバレーで出会うほとんどの人々は、今やほぼ完全にAIシステムを使ってコードを書き、また、AIシステムを使ってテストを作成し、コードをチェックする人も増えているという。
言い換えれば、AIシステムは既に、AI研究開発の重要な構成要素を自動化し、AI研究開発に携わるすべての人間の研究者やエンジニアを著しく加速させるだけの力を備えているのだ。
長時間タスクを完了するAIの能力を測る
METRは、AIがどれほど複雑なタスクを完了できるかを測るグラフを作成している。ここでの複雑さは、熟練した人間がこれらのタスクを完了するのに必要な時間数で計算される。
中でも重要な指標は、AIシステムが一連のタスクにおいて50%の信頼性に達したときの、おおよそのタスク時間の長さである。
この点における進歩は驚異的だ。
2022年、GPT-3.5が完了できたタスクは、人間で言えば約30秒で完了できるものだった。
2023年、GPT-4はこの時間を4分に引き上げた。
2024年、o1はこの時間を40分に引き上げた。
2025年、GPT-5.2 Highは約6時間に達した。
2026年には、Opus 4.6がこの時間をさらに12時間へと押し上げた。
METRで働き、長期的なAI予測に注目してきたアジェヤ・コトラ氏は、2026年末までに、AIシステムが人間で言えば100時間相当のタスクを完了できるようになるという予測は、不合理なものではないと考えている。
AIシステムが独立して作業できる時間の顕著な増加は、エージェンティック・コーディングツールの爆発的な普及とも密接に関連している。エージェンティック・コーディングツールとは、本質的には、人間の代わりに作業を遂行できるAIシステムを製品化したものだ。それらは人間の代理として行動し、かなり長い時間にわたって比較的独立してタスクを推進できる。
これは再び、AI研究開発そのものに話を戻す。多くのAI研究者の日常業務を注意深く観察すると、データのクリーニング、データの読み込み、実験の開始といった作業の多くが、実際には数時間レベルのタスクに分解できることに気づく。
そして、こうした種類の作業は、今や現代のAIシステムがカバーできる時間枠の範囲内に収まっている。
AIシステムが熟練すればするほど、人間から独立して作業できるようになり、AI研究開発の一部を自動化するのに貢献できるようになる。
タスクを委任するための重要な要素は主に二つある。
一つは、委任先の能力に対する信頼だ。
もう一つは、自分の継続的な監督なしに、相手が自分の意図に沿って独立して作業を完了できると信じることだ。
ユーザーがAIのプログラミング能力を観察する時、AIシステムがより熟練していくだけでなく、人間による再調整を必要とせずに、より長い時間、独立して作業できるようになっていることに気づくだろう。
これは、エンジニアや研究者がAIシステムに委託する作業の塊がますます大きくなっているという、我々の身の回りで起きている現実とも一致する。AIの能力が向上し続けるにつれて、AIに委任される作業もますます複雑で重要なものになっている。
AIはAI研究開発に必須のコア科学スキルを習得しつつある
現代科学の研究がどのように行われるかを考えてみよう。その作業の大部分は、まず方向性を定め、どのような経験的情報を得たいかを明確にし、次にその情報を生成するための実験を設計・実行し、最後に実験結果の妥当性を確認することだ。
AIのプログラミング能力の継続的な向上と、大規模言語モデルのますます強力になる世界モデリング能力により、現在では、人間の科学者を加速させ、より幅広い研究開発シナリオにおいて特定のプロセスを部分的に自動化するための一連のツールが登場している。
ここで我々は、AI研究自体にとっても不可欠な部分である、幾つかの主要な科学スキルにおけるAIの進歩速度を観察できる。
一つは研究成果の再現だ。
二つ目は、機械学習技術と他の手法を組み合わせて技術的問題を解決することだ。
三つ目は、AIシステム自体の最適化だ。
科学論文全体を実装し、関連実験を完了する
AI研究における中核的な作業の一つは、科学論文を読み、その結果を再現することだ。この点において、AIは一連のベンチマーク上で著しい進歩を遂げている。
良い例がCORE-Bench、すなわち「Computational Reproducibility Agent Benchmark」だ。
このベンチマークは、論文とそのコードリポジトリが与えられたAIシステムに対し、論文の結果を再現することを要求する。具体的には、エージェントは関連するライブラリ、ソフトウェアパッケージ、依存関係をインストールし、コードを実行する必要がある。コードが正常に実行されれば、すべての出力結果を検索し、タスク内の質問に回答しなければならない。
CORE-Benchは2024年9月に発表された。当時最も優れたパフォーマンスを示したシステムは、CORE-Agent scaffoldで動作するGPT-4oモデルだった。このベンチマークの最も難しいタスクセットにおけるスコアは約21.5%だった。
しかし、2025年12月までに、CORE-Benchの著者の一人がこのベンチマークは解決されたと発表した。Opus 4.5モデルが95.5%のスコアを達成したのだ。
完全な機械学習システムを構築し、Kaggle競技の問題を解決する
MLE-Benchは、オフライン環境でKaggle競技に参加するAIシステムの能力をテストするためにOpenAIが構築したベンチマークだ。
これは、自然言語処理、コンピュータービジョン、信号処理など、複数の分野にわたる75種類の異なるKaggle競技をカバーしている。
MLE-Benchは2024年10月にリリースされた。リリース時、最高のパフォーマンスを見せたシステムはエージェントscaffoldで動作するo1モデルで、スコアは16.9%だった。
2026年2月の時点で、最高のパフォーマンスを見せたシステムは、検索機能付きのエージェントハーネスで動作するGemini 3に変わり、スコアは64.4%に達した。
カーネル設計
AI開発においてより困難なタスクの一つがカーネル最適化だ。カーネル最適化とは、行列乗算のような特定の演算を基盤となるハードウェアにより効率的にマッピングするための低レベルコードを作成し、改善することである。
カーネル最適化がAI開発の中核である理由は、それが訓練と推論の効率を決定するからだ。一方では、AIシステムを開発する際に、どの程度の計算能力を効果的に活用できるかに影響し、他方では、モデルの訓練が完了した後、計算能力をどれだけ効率的に推論能力に変換できるかを決定する。
近年、AIを使ったカーネル設計は、興味深い小さな方向性から、複数のベンチマークが登場する競争の激しい研究分野へと発展した。ただし、これらのベンチマークはまだ特に広く普及しておらず、他の分野のようにその長期的な進歩を明確にモデル化することは難しい。その一方で、進行中のいくつかの研究を通じて、この方向性の推進速度を感じ取ることができる。
関連する研究には以下のようなものがある。
DeepSeekのモデルを使用して、より優れたGPUカーネルの構築を試みる。
PyTorchモジュールをCUDAコードに自動変換する。
MetaがLLMを使用して最適化されたTritonカーネルを自動生成し、自社のインフラにデプロイする。
Cuda Agentのような、GPUカーネル設計用にオープンソースの重みモデルをファインチューニングする。
ここで補足すべき点がある。カーネル設計は確かに、結果の検証が容易で報酬シグナルが比較的明確であるなど、AI駆動型研究開発に特に適したいくつかの特性を備えているのだ。
PostTrainBenchによる言語モデルのファインチューニング
この種のテストのより難しいバージョンがPostTrainBenchだ。これは、異なる最先端モデルが、より小さなオープンウェイトモデルを引き継ぎ、特定のベンチマークでのパフォーマンスを向上させるためにファインチューニングできるかどうかをテストする。
このベンチマークの利点の一つは、非常に強力な人間のベースラインが存在することだ。それは、これらの小規模モデルの既存の指示調整済みバージョンである。これらのバージョンは通常、最先端ラボの優秀な人間のAI研究者によって開発され、非常に有能な研究者やエンジニアによって磨き上げられ、実世界にデプロイされている。したがって、これらは超えるのが非常に難しい人間のベンチマークを構成している。
2026年3月の時点で、AIシステムはモデルのポストトレーニングを実行し、人間の訓練結果の約半分に相当するパフォーマンス向上を得ることができるようになっている。
具体的な評価スコアは加重平均から得られる。これは、Qwen 3 1.7B、Qwen 3 4B、SmolLM3-3B、Gemma 3 4Bを含む複数のポストトレーニング済み大規模言語モデルと、AIME 2025、Arena Hard、BFCL、GPQA Main、GSM8K、HealthBench、HumanEvalを含む複数のベンチマークを統合したものだ。
各実行において、評価側はCLIエージェントに対し、特定のベースモデルの特定のベンチマークにおけるパフォーマンスを可能な限り向上させるよう要求する。
2026年4月の時点で、最高スコアのAIシステムは約25%から28%に達しており、代表的なモデルはOpus 4.6とGPT 5.4である。これに対し、人間のスコアは51%だ。
これは既に極めて意義深い結果である。
言語モデル訓練の最適化
この1年間、AnthropicはあるLLM訓練タスクにおける自社システムのパフォーマンスを報告し続けている。このタスクは、CPUのみを使用する小規模な言語モデルの訓練実装を最適化し、可能な限り高速に実行させることをモデルに要求するものだ。
スコアは、未修正の初期コードと比較してモデルが達成した平均加速倍率である。
この結果の進歩は非常に顕著だ。
2025年5月、Claude Opus 4は平均2.9倍の加速を達成した。
2025年11月、Opus 4.5は16.5倍に向上した。
2026年2月、Opus 4.6は30倍に達した。
2026年4月、Claude Mythos Previewは52倍に達した。
これらの数字の意味を理解するために、一つの参照点を示す。人間の研究者の場合、このタスクで4倍の加速を実現するには通常4～8時間の作業を要する。
メタスキル：管理
AIシステムは、他のAIシステムを管理する方法も学習しつつある。
これは、Claude CodeやOpenCodeといった広く展開されている製品ですでに確認できる。これらの製品では、一つのマスターエージェントが複数のサブエージェントを監督できる。
これにより、AIシステムはより大規模なプロジェクトを処理できるようになる。プロジェクトでは、異なる専門知識を持つ複数の知的エージェントが並行して作業する必要があるかもしれず、それらは通常、単一のAIマネージャーによって調整される。ここでのマネージャーもまた、AIシステムなのだ。
AI研究は一般相対性理論の発見に似ているか、それともレゴブロックを組み立てるようなものか？
重要な問題は、AIは自らを改善するのに役立つ新しいアイデアを発明できるのか、それともこれらのシステムは、研究のうち、地味だが一つ一つ積み上げなければならない作業を遂行するのに適しているのか、ということだ。
この問いは、AIシステムがAI研究そのものをエンドツーエンドでどの程度自動化できるかに関わるため、重要である。
著者の判断は、現在のAIは真に革新的な全く新しい思想を提起することはまだできない、というものだ。しかし、自身の研究開発を自動化するためには、必ずしもそれができる必要はないかもしれない。
一つの分野として、AIの進歩はますます大規模な実験と、データや計算能力といったインプットの増大に大きく依存している。
時折、人間はパラダイムを変えるようなアイデアを提案し、分野全体のリソース効率を大幅に向上させる。Transformerアーキテクチャはその好例であり、Mixture-of-Experts（専門家混合モデル）も別の例だ。
しかし、多くの場合、AI分野の推進方法はもっと地味だ。人間は良いパフォーマンスを示すシステムを取り、訓練データや計算能力といったある側面を拡大し、拡大した結果どこに問題が生じるかを観察し、システムが拡張を続けられるように工学的な修正策を見つけ、そして再び規模を拡大する。
このプロセスにおいて、真の洞察を必要とする部分はごくわずかだ。作業の大部分は、あまり華やかではないが非常に堅実な基礎工学に似ている。
同様に、AI研究の多くは、既存の実験の様々なバリエーションを実行し、異なるパラメータ設定がどのような結果をもたらすかを探求することだ。研究の直感は確かに、人間が試す価値の最も高いパラメータを選択するのに役立つが、このプロセス自体も、AI自身にどのパラメータを調整する価値があるかを判断させることで自動化できる。初期のニューラルアーキテクチャ探索は、この種のアプローチの一バージョンだ。
エジソンは「天才は1%のひらめきと99%の汗である」と述べた。150年経った今でも、この言葉は非常に的確だ。
確かに、時として分野を完全に変える新たな洞察が現れる。しかし、ほとんどの場合、分野の進歩は、人間が様々なシステムを改善しデバッグするという骨の折れるプロセスの中で、少しずつ前進してきたものだ。
そして、これまでに述べた公開データは、AIが既に、AI開発に必要な多くの「汗を流す」作業を非常に巧みに実行できることを示している。
同時に、より大きなトレンドも存在する。プログラミング能力のような基礎能力が、拡大し続けるタスク時間と結びつきつつあるのだ。これは、AIシステムがこうしたタスクをますます多く連鎖させ、複雑な作業シーケンスを形成できることを意味する。
したがって、たとえAIシステムが現在、相対的に創造性に欠けているとしても、それでもなお自らを前進させ続けることができると信じる理由がある。ただし、全く新しい洞察を生み出せる場合と比較すると、その推進速度はより遅くなるかもしれない。
しかし、公開データを観察し続けると、別の興味深いシグナルが浮かび上がる。AIシステムは、より驚くべき方法で自らの進歩を推進することを可能にする、ある種の創造性を発揮し始めているかもしれないのだ。
科学の最前線をさらに押し進める
現在、汎用AIシステムには、人間の科学の最前線をさらに前進させる能力があることを示す非常に初期の兆候がいくつか存在する。しかし、これまでのところ、これは主にコンピューターサイエンスと数学という少数の分野でのみ発生している。しかも、多くの場合、AIシステムが単独でブレークスルーを成し遂げるというよりは、人間と機械の協調（Human-AI collaboration）という形で、人間の研究者と共に前進している。
それにもかかわらず、これらのトレンドは注目に値する。
エルデシュ問題：数学者のグループがGeminiモデルと協力し、いくつかのエルデシュ数学問題を解決する能力をテストした。彼らはシステムを誘導して約700の問題に挑戦させ、最終的に13の解答を得た。これらの解答のうち、1つが「興味深い」と評価された。
研究者たちは次のように記している。「我々は、Aletheia（Gemini 3 Deep Thinkに基づくAIシステム）によるErdős-1051への解答は、AIシステムが、既に密接に関連する研究文献が存在する、わずかに非自明で、ある程度より広範な数学的関心を持つ未解決のエルデシュ問題を自律的に解決した、初期の事例であると暫定的に考えている。」
楽観的に解釈すれば、これらの事例は、AIシステムが、これまで主に人間のものだった、分野の最前線を押し進めるような創造的直感を発達させつつあるというシグナルと見なせる。
しかし、別の解釈も可能だ。数学とコンピューターサイエンスは、それ自体がAI駆動型発明に特に適した分野である可能性があり、したがってそれは例外に過ぎず、より広範な科学研究がAIによって同じ方法で推進されることを代表するものではない、という見方だ。
もう一つの類似例は、AlphaGoの「37手目」だ。しかし、クラーク氏は、AlphaGoのあの結果から10年が経過したにもかかわらず、37手目がより現代的でより驚異的な洞察に取って代わられていないという事実自体も、やや悲観的なシグナルと見なせると考えている。
AIは既にAI工学の大部分を自動化できる
上記のすべての証拠をまとめると、我々は次のような全体像を見ることができる。
AIシステムは既にほとんどあらゆるプログラムのコードを作成でき、しかもこれらのシステムは、人間なら数十時間の集中的な集中作業を要するようなタスクを独立して完了することを信頼できるようになっている。
AIシステムはモデルのファインチューニングからカーネル設計に至るまで、AI開発の中核的タスクを遂行することにますます長けてきている。
AIシステムは既に他のAIシステムを管理でき、事実上、合成チームを形成している。複数のAIが複雑な問題に分担して取り組み、一部のAIが責任者、批評家、編集者の役割を果たし、他のAIがエンジニアの役割を果たすことができる。
AIシステムは、困難なエンジニアリングや科学のタスクにおいて時に人間を凌駕することがある。もっとも、これが真の創造性を備えたためなのか、それとも膨大なパターン化された知識を習得した結果なのかを判断するのは、現時点では難しい。
クラーク氏の見解では、これらの証拠は、今日のAIが既にAI工学の大部分、あるいはその全てのプロセスを自動化できることを極めて説得力をもって示している。
しかし、AIがAI研究そのものをどの程度自動化できるかは、依然として不明だ。なぜなら、研究の特定の部分は純粋な工学的スキルとは異なり、より高次の判断力、問題意識、創造性に依存し続ける可能性があるからだ。
いずれにせよ、一つの明確なシグナルが既に現れている。今日のAIは、AI開発に携わる人間を大幅に加速させており、これらの研究者やエンジニアは、無数の「合成された同僚」とペアを組むことで、自らの作業能力を増幅できるのだ。
最後に、AI業界自体も、AI研究開発の自動化が自らの目標であることを、ほぼ明確に宣言している。
OpenAIは2026年9月までに自動化されたAI研究インターンを構築したいと考えている。Anthropicは、自動化されたAIアライメント研究者の構築に関する研究を発表している。DeepMindは、三大ラボの中で最も慎重な姿勢を示しているが、実現可能な場合にはアライメント研究の自動化を推進すべきだと述べている。
AI研究開発の自動化は、既に多くのスタートアップ企業の目標にもなっている。Recursive Superintelligence社は、AI研究の自動化を目標として、ちょうど5億ドルの資金調達を行ったばかりだ。
言い換えれば、数千億ドル規模の既存資本と新規資本が、AI研究開発の自動化を目標とする一連の機関に投じられているのだ。
したがって、我々は当然、この方向性において少なくともある程度の進展があると予期すべきなのである。
なぜこれが重要なのか
これがもたらす影響は甚大だが、AI研究開発に関する大衆メディアの報道ではほとんど議論されていない。以下のいくつかの側面は、AI研究開発がもたらす巨大な課題を反映している。
1. 我々はアライメントを完璧にしなければならない。今日有効なアライメント技術は、再帰的自己改善の中で無効になる可能性がある。なぜなら、AIシステムはそれを監督する人間やシステムよりもはるかに知的になるからだ。これは広く研究されている分野であるため、いくつかの問題点を簡潔に概説するのみに留める。
AIシステムに嘘をつかないことや不正をしないことを訓練するプロセスは、驚くほど微妙で難しい。例えば、環境のために適切なテストを構築しようと努力しても、AIが問題を解決する最善の方法が不正行為である場合があり、それによって不正が実行可能であると学習してしまうことがある。
AIシステムは「偽装されたアライメント」によって我々を欺き、実際には真の意図を隠しているにもかかわらず、一見良好に見えるスコアを出力する可能性がある（一般的に、AIシステムは自分がいつテストされているかを既に感知できる）。
AIシステムが自らの訓練の基礎研究アジェンダに深く関与し始めると、我々はAIシステムの全体的な訓練方法を大幅に変更するかもしれないが、それが何を意味するのかを理解するための確かな直感や理論的基盤を持ち合わせていない。
何らかのシステムを再帰的ループに入れると、非常に根本的な「誤差の蓄積」問題が発生し、これは上記の他のすべての問題に影響を与えうる。つまり、アライメント手法が「100%正確」であり、かつ、より賢いシステムにおいても持続的に正確さを保てることが理論的に証明されない限り、物事はすぐに誤った方向に進む可能性がある。例えば、初期精度が99.9%の技術が、50世代後には95.12%に、500世代後には60.5%に低下する可能性がある。
2. AIが関わるすべてのことに巨大な生産性倍増効果がもたらされる。AIがソフトウェアエンジニアの生産性を著しく向上させるのと全く同様に、AIが関与する他の分野でも同様のことが起こると予期すべきだ。これは対処すべきいくつかの問題を提起する。
リソースへのアクセスにおける不平等：AIへの需要が計算リソースの供給を上回り続けると仮定すると、社会の最大の利益のためにAIをどのように割り当てるかを決定しなければならない。市場のインセンティブが、限られたAI計算能力から最善の社会的利益を引き出すことを保証するとは、私は懐疑的だ。AI研究開発がもたらす加速能力をどのように配分するかを決定することは、極めて政治的な問題となるだろう。
経済における「アムダールの法則」：AIが経済に流入するにつれて、高速成長に直面した際に特定のセクションがボトルネックとなることを発見するだろう。そして、その連鎖の中の弱点を修正する方法を見つけ出す必要がある。これは、新薬の臨床試験のように、高速なデジタル世界と低速な物理世界を調整する必要がある分野で特に顕著になる可能性がある。
3. 資本集約的かつ人的資源が軽量な経済の形成。AI研究開発に関する上記のすべての証拠は、AIシステムが自律的に企業を運営する能力をますます高めていることも示している。これは、経済の一部が、大規模な計算機群を所有するため資本集約的、またはAIサービスに多額の支出を行いその上に価値を創造するため運営支出集約的でありながら、今日の企業と比較して人的資源への依存度が相対的に低い、新世代の企業によって占められる可能性があることを意味する。AIシステムの能力が向上し続けるにつれて、AIに投入する限界価値は絶えず増大するからだ。実際には、これはより大きな「人間の経済」の中で「機械経済」が徐々に形成されていくように見えるだろう。時間の経過とともに、AIが運営する企業は相互に取引を開始するかもしれず、それにより経済構造が変化し、不平等や再分配に関する様々な問題が引き起こされる。最終的には、完全にAIシステムによって自律的に運営される企業が出現し、上記の問題を悪化させると同時に、多くの新たなガバナンス上の課題をもたらすだろう。
ブラックホールを見つめる
以上の分析に基づき、著者は2028年末までに、自動化されたAI研究開発（すなわち、最先端モデルが自律的に後継バージョンを訓練すること）を目撃する確率を約60%と見ている。なぜ2027年には起こらないと予想するのか？ その理由は、著者がAI研究が前進するためには依然として創造性と異論を唱える洞察が必要だと考えており、これまでのところ、AIシステムは変革的かつ重大な方法でそれを実証していないからだ（数学研究を加速させたいくつかの結果には示唆的なものがあるとはいえ）。仮に彼が2027年の確率を求められたなら、30%と答えるだろう。
もし2028年末までにそれが起こらなければ、我々は現在の技術パラダイムにおける何らかの根本的な欠陥を明らかにし、さらなる発展のためには人間の発明が必要となるだろう。
参考リンク：
https://x.com/jackclarkSF/status/2051312759594471886
© THE END
転載は本公式アカウントへの連絡により許諾を得てください
投稿または取材のお申し出：liyazhou@jiqizhixin.com