OpenAIは「CUDAカーネルの神」を失った

編集|Panda

今日、一昨日の投稿が急速に拡散され始めた。その内容はわずか5語:「Scott Gray已离开 OpenAI(Scott GrayはOpenAIを去った)」。

「CUDAカーネルの神」「世界最強のGPUプログラマー」と称されるこの著名エンジニアは、OpenAIが今年流失したまた一人の重量級人材となった。本人はツイートで確認しておらず、LinkedInのページもまだ更新されていないが、𝕏とBlueskyの自己紹介は「GPU Geek at @OpenAI」から「Former GPU geek at @OpenAI」に変更され、さらにその前に「現在独立しており、神経科学にインスパイアされたAI手法を探索中」という一文が追加された。

OpenAIで10年間過ごしたエンジニアが、たった一行の自己紹介で自身の退社を発表した。

奇妙な偶然だ。ちょうど10年前の8月16日、OpenAIは《Team update》と題したブログ記事を公開し、その月に加わった5人のフルタイムメンバーを紹介した。名前はDario Amodei、Filip Wolski、Jack Clark、Scott Gray、そしてZain Shahだった。

https://openai.com/index/team-update-august/

10年後の今日、DarioはAnthropicのCEOであり、Jack ClarkはAnthropicで政策を担当し、Scott GrayはOpenAIを「former(元所属)」と記した。

現時点で、OpenAIはScott Grayの離職に関する声明を一切発表しておらず、Gray本人も具体的な説明を投稿していない。現在のすべての報道の共通情報源は、彼のソーシャルアカウントの自己紹介の変更と、その後𝕏上で拡散したリーク投稿のみである。具体的な退職日、去就、新しい会社があるかどうかについては、公開情報が一切ない。

彼のアカウントの別の詳細にも言及する価値がある。Grayがオリジナルとして投稿した最後の𝕏のツイートは2023年11月20日で、内容は一言:「OpenAI is nothing without its people.(OpenAIは人なしには何もない)」だった。これはSam Altmanが取締役会によって解任されてから3日目のことだった。700人以上の従業員が連署して取締役会の辞任を要求し、この言葉は当時のOpenAI内部で繰り返しコピー&ペーストされ、集団的な忠誠表明となった。それ以降、彼はいくつかのツイートに返信したが(返信も2025年2月以降は停止している)、オリジナルのツイートは更新していない。

Scott Grayの略歴

当メディアでは以前、Scott Grayを特集した記事を掲載している。「CUDAカーネルの神、世界最強のGPUプログラマー?OpenAIの立役者は何者か」を参照されたい。ここでもう一度簡単に振り返っておこう。

图片

彼の名声はNervana Systems時代に始まった。当時、大多数の開発者はNVIDIAのCUDA C/C++やcuBLAS、cuDNNなどの公式ライブラリに依存しており、ソフトウェアの抽象化レイヤーがハードウェアの詳細を覆い隠すと同時に、パフォーマンスの天井を形成していた。Grayの判断は、これらの抽象化レイヤーをバイパスしなければならないというものだった。そこで彼はmaxasを開発した。これはMaxwellアーキテクチャ向けのアセンブラであり、開発者がSASSマシンコードを直接記述し、レジスタを手動で割り当て、メモリ遅延を管理し、命令パイプラインを制御できるようにするものだった。

このアプローチが実現可能であることを証明するため、彼はmaxasを使ってSGEMMカーネルを手書きした。GM204 GPU上で、このカーネルはハードウェアの理論ピークの98%に達し、NVIDIA公式のクローズドソースかつ専門家が手書きしたcuBLASよりも4.8%高速だった。その後のmaxDNNは同じ方法論を畳み込みに拡張した。AlexNetのすべての畳み込み層で93%から95%の計算効率を安定して達成したのに対し、同時期のcuDNNの効率は32%から57%の間で大きく変動していた。

これが、彼のその後のすべての作業における方法論の基調となった。抽象化レイヤーが決めた性能上限を受け入れないということだ。

2016年8月のOpenAIのチーム更新記事で、公式の彼に対する紹介はわずか2行の技術的な評価だった。大筋として、彼は以前Nervanaで深層ネットワークのGPU上でのパフォーマンス最適化に注力しており、密な線形代数と畳み込みに関するアセンブリレベルの最適化は「今なお最速」であるという内容だった。また、同じ段落で、コードを書かない時は、彼は通常、神経科学および関連分野の最新研究を読んでいるとも述べられていた。

振り返ってみれば、10年後の彼の新しい方向性である「神経科学にインスパイアされたAI手法」は、実はずっと変わらなかった興味への回帰だったと言える。

OpenAIに入社した後、彼の役割は「最適化者」から「イネイブラー(可能にする人)」へと変わった。2017年、彼はAlec RadfordやDurk KingmaとともにブロックスパースGPUカーネルを公開した。個々の重みを削除する非構造化スパース性とは異なり、ブロックスパースは重み行列を固定サイズのブロックに切り分け、ブロック全体をゼロにする。専用のカーネルは計算時にゼロ値のブロックを完全にスキップするため、処理速度は密行列を扱うcuBLASや汎用スパース行列を扱うcuSPARSEよりも数桁速くなる可能性がある。このカーネル群は当時オープンソース化され、その後の一連のスパース・アテンションの研究を直接生み出すことになった。

OpenAIのブロックスパースカーネル概念図:https://cdn.openai.com/blocksparse/blocksparsepaper.pdf

この流れに沿って、2019年の《Generating Long Sequences with Sparse Transformers》の著者はRewon Child、Scott Gray、Alec Radford、Ilya Sutskeverであった。この研究は、アテンションの時間とメモリのオーバーヘッドをO(n²)からO(n√n)に削減し、論文内で「高速なアテンション訓練カーネル」を3つの貢献の1つとして明記した。

さらにその後、彼の名前はGPT-3の著者名簿、《Scaling Laws for Neural Language Models》の著者名簿、DALL·Eの著者名簿、そしてOpenAI Fiveの技術レポートに登場した。

この期間に、彼は「CUDAカーネルの神」という称号も獲得した。それは2025年9月、OpenAIの元従業員であるRohan Pandeyが𝕏で、社内の推論側のCUDAカーネルを担当しているのはおそらく1人だけであり、同僚たちが彼の書いたアテンションカーネルを「the Bob kernel」と呼んでいたと投稿したことがきっかけだった。このカーネルは毎日数十万枚のGPU上で何兆回も実行される。投稿が話題になると、コメント欄では「Bob」とはScott Grayのことだと広く推測された。

関連投稿ではさらに、世界中で訓練プロセス(特にバックプロパゲーション)のために高性能なCUDAカーネルを書ける人は百人に満たないかもしれないとも言及された。このスキルには、並列計算理論、GPUハードウェア・アーキテクチャ、そして深層学習アルゴリズムの同時精通が必要とされるが、大半の実務者はアプリケーション層や推論最適化層にとどまっているからだ。

そして今、Scott Grayは去った。

2026年、OpenAIは少なからぬ人材を流失した

OpenAIは今年、多くの才能ある人材を失った。𝕏のブロガーChubbyのまとめによれば、OpenAIでは今年すでに12人のシニアリーダーが退社しており、その範囲はビジネスオペレーション、営業、製品、研究、安全、倫理、ハードウェアにまで及ぶ。

先日、OpenAIで8年間勤務し、CFO兼COOを務めたBrad Lightcapが𝕏で退社を発表し、「何か新しいことを始めたい」と述べた。2日後には、昨年12月に就任したばかりの最高収益責任者であるDenise Dresserが退任を発表し、Wizの元社長兼COOであるDali Rajicが後任となった。

ビジネスおよび製品ラインでは、応用部門のCEOであるFidji Simoが4月に健康上の理由で休暇を取り、7月に常勤を退き非常勤顧問となった。元CMOのKate Rouchは4月に治療の必要性を理由に退任した。エンタープライズ部門のCTOであるSrinivas Narayananも4月に退社を発表した。研究および製品面では、OpenAI for Scienceを主導するKevin Weilと、Soraの責任者であるBill Peeblesが4月の同日に辞任を発表した。Weilは現在、あるAI科学系スタートアップを立ち上げている。Barret Zophは今年1月にThinking Machines LabからOpenAIに戻りエンタープライズAIの販売を率いたが、6月に再び去り、会社側は理由を明らかにしていない。

安全・倫理ラインの3人の離脱は7月に集中して起こった。安全システム責任者のJohannes Heideckeは安全チーム再編の中で去り、その職務はMia Glaeseが率いる研究部門に統合された。チーフ・フューチュリストのJoshua Achiamは約9年間の在職後に退社した。彼がかつて率いたミッション・アライメント・チームは今年2月にすでに解散されていた。倫理責任者のChloé Bakalarは加わってから1年足らずで退社した。さらに遡る3月には、ロボティクス・消費者ハードウェア責任者のCaitlin Kalinowskiが、ペンタゴン(米国防総省)との協力に賛同できないとして辞任した。彼女はLinkedIn上で、関連する問題はより十分に審議されるべきだと表明し、後日、自身の異議は主にガバナンス・プロセスに対するものであると補足した。

このリストにはまだ一人欠落がある。今年1月に推論モデルを担当していた研究担当副社長のJerry Tworekが約7年で退社し起業したことだ。その理由は、「OpenAIの内部では行いにくい」研究分野を行いたかったためだった。

結語

Scott Grayの退社が、直ちにOpenAIのモデル発表のペースを変えることはないだろう。10年間で蓄積されたエンジニアリング体制が、1人の退職によって停止することはない。しかし、ますます規模、効率、コスト管理に依存する企業にとって、ハードウェアのパフォーマンスを極限まで引き出し、複数世代にわたる中核モデルの開発に深く関与してきたエンジニアを失うことは、やはり軽く見過ごせる変化ではない。

今回の退社が起きたタイミングも注目に値する。OpenAIは株式上場を控え、収益を追求し、世界的なインフラ競争に参画する巨大企業へと変貌しようとしている。今、最も早くから同社を築き上げた人々が、自らの次のステップとして何をしたいかを再び見定め始めている。

Scott Grayの選択は、別の最先端研究所に加わることでもなければ、起業を発表することでもなかった。ただ個人の自己紹介の中で、独立して「神経科学にインスパイアされたAI手法」を探索していると記したのみだ。2016年の公式紹介で、余暇に神経科学の論文を読んでいたあのエンジニアから、10年後に再び神経科学を自己紹介に書くまで、これは長い遠回りを経た後の回帰のように見える。既存の計算パラダイムを極限まで絞り尽くした後、彼は今、別の可能性を探し始めたのだ。

2023年、Grayは「OpenAI is nothing without its people」と記した。今日になって振り返ると、この言葉はあの会社の危機に対する表明であると同時に、遅れてやってきた注釈のようにも見える。OpenAIが誰か1人の退社によってすべてを失うことはないだろうが、1つの会社の進む方向は、最終的に残った人、去った人、そして彼らがそれぞれ選んでいく探究の対象によって形作られるのである。

関連記事

分享網址
AINews·AI 新聞聚合平台
© 2026 AINews. All rights reserved.