AnthropicのCEOであるDario Amodei氏が、業界全体が長年懸念し続けてきた大規模なトレーニングデータのボトルネックは、実は既に存在ではないと明らかにしました。長年、この業界はオープンウェブのスクレイピング——モデルに与えるためのより多くのデータ、テキスト、人間による産出物——に固執してきました。しかしAmodei氏は次のように述べています。「データはもはや最も核心的なものではなくなったと思います」
これは根本的な転換です。Amodei氏は次のように述べています。「静的なデータはますます重要ではなくなっています。今日私たちが使用している大量のデータは、モデルがその中でトレーニングを行う強化学習環境——モデル自体が生成した動的データです。」それはスクレイピングされたものでも、ライセンス取得されたものでも、人間が書いたものでもありません。モデルが純粋な試行錯誤を通じて、自ら生成したものです。
複雑な数学やエージェントプログラミングでモデルをトレーニングする際、あなたは教科書を詰め込むのではなく、環境を与えます。モデルは自ら実験し、失敗し、調整し、再試行します。Amodei氏は、「数学の問題をいくつか与えれば、モデルは自ら解決しようと試みます」と言います。それは独自の経験を生成し、数百万回の反復を行い、そのたびに前回の結果の上に積み上げていきます。人間の介入は必要ありません。これは「大規模モデルはデータの壁にぶつかるだろう」という一連の叙事詩を完全に打ち砕くものです。
著作権をロックして競合他社を抑制したり、ペイウォールを設けてこの競争を遅らせたりすることはできません。モデルが独自の合成経験を通じて学習するとき、オープンウェブはもはや無関係なものとなります。唯一真に残されたボトルネックは、計算能力です。