編輯|Panda
今天,一則前兩天的推文開始熱傳,內容只有 5 個詞:Scott Gray 已離開 OpenAI。
這位有著「CUDA 核心之神、全球最強 GPU 程式設計師」稱號的著名工程師成為了 OpenAI 今年流失的又一位重量級人才。他本人雖然沒有發推確認,LinkedIn 頁面也尚未更新,但其在 𝕏 和 Bluesky 上的個人簡介均已從「GPU Geek at @OpenAI」改成了「Former GPU geek at @OpenAI」,並且還在前面增加了一句「目前獨立,正在探索一些神經科學啟發的 AI 方法」。
一位在 OpenAI 待了十年的工程師,用一行簡介宣布了自己的離開。
好巧不巧。剛好十年前的 8 月 16 日,OpenAI 發布了一篇題為《Team update》的部落格,介紹當月加入的五位全職成員。名單上有 Dario Amodei、Filip Wolski、Jack Clark、Scott Gray 和 Zain Shah。
https://openai.com/index/team-update-august/
十年後的今天,Dario 是 Anthropic 的 CEO,Jack Clark 在 Anthropic 負責政策,而 Scott Gray 把 OpenAI 標記成了「former」。
截至目前,OpenAI 沒有就 Scott Gray 的離職發布任何聲明,Gray 本人也沒有發文具體說明。目前所有報導的共同信源,都是他社交帳號簡介的改動,以及隨後在 X 上擴散的一則爆料貼文。具體離職日期、去向、是否已有新公司,均無公開資訊。
值得一提的是他帳號上的另一個細節。Gray 最後一則原創 𝕏 推文停在 2023 年 11 月 20 日,內容是一句話:「OpenAI is nothing without its people.」那是 Sam Altman 被董事會解職後的第三天,超過七百名員工連署要求董事會辭職,這句話在當時的 OpenAI 內部被反覆複製貼上,算得上是一次集體效忠。在那之後,他雖然回覆了一些推文(回覆也已在 2025 年 2 月之後停止),但再未更新原創推文。
Scott Gray 簡介
我們此前有一篇文章專門介紹過 Scott Gray,參閱《CUDA 核心之神、全球最強 GPU 程式設計師?OpenAI 的這位幕後大神是誰》。這裡再簡單盤點一下。
他的聲名起於 Nervana Systems 時期。當時絕大多數開發者依賴 NVIDIA 的 CUDA C/C++ 和 cuBLAS、cuDNN 等官方函式庫,多層軟體抽象遮蔽了硬體細節,也構成了效能天花板。Gray 的判斷是必須繞過這些抽象層,於是他寫了 maxas,一個針對 Maxwell 架構的組譯器,讓開發者可以直接撰寫 SASS 機器碼,手動分配暫存器、管理記憶體延遲、控制指令流水線。
為了證明這條路走得通,他用 maxas 手寫了一個 SGEMM 核心。在 GM204 GPU 上,該核心達到硬體理論峰值的 98%,並且比 NVIDIA 官方閉源、同樣由專家手寫的 cuBLAS 快 4.8%。隨後的 maxDNN 把同一套方法論推廣到卷積:在 AlexNet 的所有卷積層上穩定達到 93% 至 95% 的計算效率,而同期 cuDNN 的效率在 32% 到 57% 之間大幅波動。
這是他後來一切工作的方法論底色:不接受抽象層給定的效能上限。
2016 年 8 月的那篇 OpenAI 團隊更新裡,官方對他的介紹只有兩句技術評價,大意是他此前在 Nervana 專注於優化深度網路在 GPU 上的效能,而他在稠密線性代數與卷積上的組譯級優化「至今仍是最快的」。同一段還提到,不寫程式碼的時候,他通常在讀神經科學及相關領域的最新研究。
看起來,十年後他的新方向「神經科學啟發的 AI 方法」,其實是回到了那個一直沒變的興趣。
加入 OpenAI 後,他的角色從「優化者」變成了「使能者」。2017 年,他與 Alec Radford、Durk Kingma 一起發布了塊稀疏 GPU 核心。不同於移除單一權重的非結構化稀疏,塊稀疏把權重矩陣切成固定大小的區塊並整塊置零,專門的核心在計算時完全跳過零值區塊,速度可以比處理稠密矩陣的 cuBLAS 或處理通用稀疏矩陣的 cuSPARSE 快上幾個數量級。這套核心當時被開源,直接催生了後續一系列稀疏注意力工作。
OpenAI 塊稀疏核心示意圖,https://cdn.openai.com/blocksparse/blocksparsepaper.pdf
順著這條線往下,2019 年的《Generating Long Sequences with Sparse Transformers》作者是 Rewon Child、Scott Gray、Alec Radford 和 Ilya Sutskever——把注意力的時間與顯存開銷從 O(n²) 降到 O(n√n),論文明確把「快速注意力訓練核心」列為三項貢獻之一。
再往後,他的名字出現在 GPT-3 的作者名單、《Scaling Laws for Neural Language Models》的作者名單、DALL·E 的作者名單和 OpenAI Five 的技術報告裡。
在這期間,他還收穫了「CUDA 核心之神」的稱號。那是在 2025 年 9 月,前 OpenAI 員工 Rohan Pandey 在 𝕏 上發文稱,公司裡大約只有一個人負責推理側的 CUDA 核心,同事們把他寫的注意力核心叫作「the Bob kernel」,這個核心每天在數十萬張 GPU 上執行數以萬億次計。貼文火了之後,留言區普遍猜測「Bob」就是 Scott Gray。
相關貼文還提到:全世界能為訓練過程(尤其是反向傳播)寫出高效能 CUDA 核心的人,可能不到一百個。因為這項技能要求同時精通平行計算理論、GPU 硬體架構和深度學習演算法,而大多數從業者停留在應用層或推理優化層。
而現在,Scott Gray 離開了。
2026 年,OpenAI 已流失不少人
OpenAI 今年流失了不少人才。據 𝕏 部落客 Chubby 盤點,OpenAI 今年已有 12 位高階 leader 離職,涵蓋營運、商業、產品、研究、安全、倫理和硬體。
前些天,在 OpenAI 工作八年、曾任 CFO 與 COO 的 Brad Lightcap 在 𝕏 上宣布離職,稱要「start something new」;兩天後,去年 12 月才上任的首席營收長 Denise Dresser 宣布離開,由 Wiz 前總裁兼 COO Dali Rajic 接任。
商業與產品線上,應用業務 CEO Fidji Simo 在 4 月因健康因素休假,7 月卸任全職轉為兼職顧問;前 CMO Kate Rouch 在 4 月因治療需要卸任;企業業務 CTO Srinivas Narayanan 同在 4 月宣布離開。研究與產品側,主導 OpenAI for Science 的 Kevin Weil、Sora 負責人 Bill Peebles 在 4 月同日宣布離職,Weil 目前在做一家 AI 科學創業公司;Barret Zoph 今年 1 月從 Thinking Machines Lab 回歸 OpenAI 帶領企業級 AI 銷售,6 月再度離開,公司未說明原因。
安全與倫理線的三人集中在 7 月:安全系統負責人 Johannes Heidecke 在安全團隊重組中離開,職責併入 Mia Glaese 領導的研究部門;首席未來學家 Joshua Achiam 在近九年後離職,他此前領導的使命對齊團隊已於今年 2 月被解散;倫理負責人 Chloé Bakalar 加入不到一年即離開。更早的 3 月,機器人與消費硬體負責人 Caitlin Kalinowski 因不認同公司與五角大廈的合作而辭職,她在 LinkedIn 上表示相關問題應當經過更充分的審議,後來又補充說自己的異議主要針對治理流程。
這份名單還遺漏了一個:今年 1 月,負責推理模型的研究副總裁 Jerry Tworek 在近七年後離職創業,理由是想做一些「在 OpenAI 內部很難做」的研究方向。
結語
Scott Gray 的離開,或許不會立刻改變 OpenAI 的模型發布節奏。十年積累下來的工程體系不會因為一個人離開而停擺。但對一家越來越依賴規模、效率與成本控制的公司來說,失去這樣一位能把硬體效能推到極限、又深度參與過多代核心模型的工程師,仍然不是一個可以輕描淡寫的變化。
這次離職所處的時間點也值得關注:OpenAI 正準備上市,變成一家追求營收並參與全球基礎設施競賽的巨型企业。現在,最早塑造它的人,也在重新判斷自己下一步想做什麼。
Scott Gray 的選擇並不是加入另一家前沿實驗室或宣布創業,只是在個人簡介裡說自己正在獨立探索「神經科學啟發的 AI 方法」。從 2016 年官方介紹中那個業餘時間閱讀神經科學論文的工程師,到十年後重新把神經科學寫進個人簡介,這更像是一次繞行許久後的回歸:在把現有計算範式壓榨到極致之後,他開始尋找另一種可能。
2023 年,Gray 寫下「OpenAI is nothing without its people」。今天回看,這句話既是對那場公司危機的表態,也像是一句遲來的註腳。OpenAI 不會因為某一個人的離開而失去一切,但一家公司的方向,終究由留下的人、離開的人,以及他們各自選擇去探索的問題共同塑造。
© THE END
轉載請聯繫本公眾號獲得授權
投稿或尋求報導:liyazhou@jiqizhixin.com