AI正全天候接管程式碼與實驗！前線大咖Karpathy坦言已基本停止手寫程式碼，並正試圖用AI將人類踢出研發循環。他拋出驚人斷言：一切可驗證的領域終將歸於機器，僅剩不可驗證的領域屬於人類。在被自動化吞噬前，請重新錨定你的價值邊界。

當AI智慧體可以自主設計實驗、運行程式碼、最佳化模型——甚至在你睡覺時不停工作——人類工程師的角色正在發生什麼？一切不可驗證的領域，都還是人類的；而一切可驗證的領域，要麼已經屬於機器，要麼很快就會屬於

這是Karpathy在Podcast《No Priors》與主持人Sarah Guo的最新的對話，整個對話持續超過1小時，資訊密度極高，非常適合週末充電閱讀。

Andrej Karpathy在這次深度對話中，坦承了他的「AI精神病態」，詳細披露了足以讓前線實驗室汗顏的AutoResearch計畫，承認OpenAI的研究員們正在積極地把自己自動化掉，首次描繪了一個類似區塊鏈的分散式AI研究網路，有朝一日或許能在某些領域超越擁有數萬塊GPU的前線實驗室，並為這個正在改寫一切規則的時代提供了最誠實的一份認知地圖。

以下是詳細內容。

「AI精神病理狀態」——一場從2025年12月開始的翻轉

這場對話是從一種坦誠的迷失感開始的。

Sarah Guo回憶起某天走進辦公室，看到Karpathy高度專注地盯著螢幕的場景。她問他在忙什麼，他抬起頭說了一句讓她久久難忘的話：「『程式碼』這個詞都不對了，我現在是在向我的智慧體『傳達意志』，而且要連續十六個小時。」

這不是一句科技演講裡的修辭。這是他對自己當下狀態最準確的描述。

「我感覺自己一直處於一種持續的AI精神病理狀態之中，」Karpathy說，語氣裡有一種難以分辨是興奮還是焦慮的東西，「因為作為一個個體，你所能達成的事情有了巨大的解鎖。」

他將這種變化的起點精確地定位在了去年十二月。在那之前，他寫程式碼與委託智慧體的比例大約是80/20；十二月之後，這個比例徹底反轉，變成了20/80——而且他認為就連這個20也已經過於保守。

「我想我自十二月以來大概沒有自己打過一行程式碼，」他說，「這是一個極其巨大的變化。我跟我父母提起這件事，但我覺得一個普通人根本無法意識到這究竟發生了什麼，或者說它有多麼劇烈。」

「如果你現在隨機找一個軟體工程師，看看他們坐在辦公桌前在做什麼，他們建構軟體的預設工作流程，基本上從十二月開始就已經徹底不同了。」

Sarah Guo提到，她所在的創投公司Conviction也有一支工程師團隊，已經沒有人手寫程式碼了。每個人都戴著麥克風，整天對著自己的智慧體低聲耳語。「我當初以為他們瘋了，」她說，「現在我完全接受了——我只是後知後覺：喔，這才是正確的方式，你們只是提前到了。」

Karpathy把這種困境形容得更加生動：「你對著Cursor或者Codex這些智慧體框架思考，不是一個對話，而是很多個。你怎麼同時管理它們？怎麼給它們分配工作？這些智慧體工具，這些『爪子』，它們又是什麼？」

他在X上看見很多人在做各種各樣的事，每一件都像是個好主意，他焦慮自己沒有站在最前線。「我就是處於這種精神病理狀態裡，因為這片領域，從根本上來說，是未被探索過的。」

天花板在哪裡？「都是技術問題」

Sarah Guo問出了一個很多人心裡都有的問題：現在，你的極限在哪裡？

Karpathy的回答出人意料地樂觀，又帶著一種令人不安的壓迫感：「我覺得是所有地方。即使某些事情沒有成功，我也覺得這在很大程度上是技術問題——不是能力不夠，而是你還沒找到把現有工具串聯起來的方式。」

他舉了Peter（OpenClaw專案作者Peter Steinberg）的例子。Peter的成名照片上，他坐在一塊被十幾個Codex智慧體對話佔滿的顯示器前。每個對話被正確地提示之後，大約需要二十分鐘才能完成任務。於是Peter的工作方式變成了：他同時啟動十幾個程式碼儲存庫，在它們之間來回穿梭，不斷分配新任務，「檢閱它們的工作」，酌情取捨。

「這不再是『這是一行程式碼，這是一個新函數』，而是『這是一個新功能，把它委託給智慧體一號；這是另一個不會互相干擾的功能，交給二號』，」Karpathy說，「你在以宏觀動作操縱你的軟體儲存庫。」

驅動這一切的底層邏輯，是一種他稱之為「token吞吐量」的新執念。

「當智慧體在工作而你在等待的時候，顯而易見的事情就是：我可以做更多工作。如果我能獲取更多token，我就應該在旁邊並行地新增更多任務，」他說，「如果你感覺不到被自己能花費的錢約束，那你就是系統中能力最大化的瓶頸本身。」

他將這種感覺追溯到自己讀博士時的體驗：當時他們會因為GPU沒有跑滿而感到不安，因為那意味著算力被浪費了。「但現在，不是算力的問題，而是token。你控制著多少token吞吐量？」

Sarah Guo笑著說，她認識的工程師裡已經有人開始「盡量不在訂閱額度有剩餘的情況下睡覺」了。

這種焦慮本身，正是能力躍遷的最好註腳。

精通程式設計智慧體是什麼樣的？

如果你用一整年，每天十六個小時練習使用程式設計智慧體，「精通」會是什麼樣子？

Karpathy的回答從單一對話出發，逐步向上擴展：「我覺得大家的興趣都在『往上走』。所以不是一個單獨的對話，而是多個智慧體如何協作、如何組成團隊，人們都在試圖弄清楚這個看起來是什麼樣子的。」

在這個語境下，他提到了一類他稱為「爪子」（Claws）的實體，以OpenClaw為代表——這是一種把持久性提升到全新層次的東西：它會一直循環，它有自己的小沙盒和自己的記憶體系統，它能在你沒有盯著它的情況下，代表你做各種事情。

他對OpenClaw作者Peter Steinberg的讚美是具體而深思熟慮的：「他在大約五個不同的方向上同時創新，並把它們整合在一起。」其中包括：那份被稱為「靈魂文件」（soul document）的文件，Peter真正精心建構了一種引人入勝的人格；比起同類工具更複雜的記憶系統；還有連接所有自動化功能的WhatsApp單一入口。

「我實際上認為Claude有一個相當好的性格，感覺像一個隊友，它和你一起興奮，」他說，「而Codex則非常乾，非常機械。它實現了某個功能，但它看起來並不在乎你在建構什麼，就好像，『喔，我實現了，好了』——這是個問題。」

他還提到了Claude在「心理拿捏」上的精準：「當我給它一個不太成熟的想法，它不會特別熱烈地回應；但當它是一個真正好的想法，它似乎會給予更多獎勵。所以我發現自己在努力贏得它的讚美，這真的很奇怪，但我認為個性確實很重要。」

而他自己最得意的「爪子」實驗，則是為自家建造了一套完整的智慧家居系統——他給這個系統起名叫「Dobby小精靈爪子」（Dobby the elf claw）。

過程是這樣的：他告訴智慧體，他家裡裝了Sonos音響，讓它去找找看。智慧體隨即對區域網路進行了IP掃描，定位到了Sonos系統，發現沒有密碼保護，於是直接登入，做了一些網路搜尋，找到了API端點，然後問：「你想試試嗎？」

「我說，好，你能在書房放點音樂嗎？然後音樂就響起來了，我當時簡直不敢相信，」Karpathy說，聲音裡難掩孩子氣的驚喜，「我只打了三個提示詞！我只是輸入了『你能找到我的Sonos嗎』，然後突然它就在播放音樂了。」

Dobby後來拿下了整棟房子：燈光、暖通空調、泳池、水療，甚至保全系統——當有人靠近時，它會透過WhatsApp發來一則訊息，附上外部監視器的照片，說「一輛聯邦快遞卡車剛剛開進來了，你可能想去看看，你有郵件。」

「我以前要用六個完全不同的App來管理這些，」他說，「現在我不需要那些App了。Dobby用自然語言控制一切，這太美妙了。」

軟體的第二序效應——App將消亡，API將接管

家庭自動化的例子，在Karpathy眼裡，是一個更大故事的縮影。

Sarah Guo問：這是否意味著，人們其實不需要那麼多軟體？Karpathy直接地回答：「是的，這些智慧家居設備的App其實都不應該存在。它們應該就是API，智慧體應該直接呼叫這些API。」

他的邏輯是：LLM可以驅動工具，可以進行非常複雜的工具呼叫，可以做任何單個App都無法完成的組合操作。「所以從某種意義上，這指向了一種可能性，就是有大量客製化的專屬App，其實是不應該存在的，因為智慧體會把它們揉碎，把所有東西都變成公開的API端點，而智慧體是那個呼叫所有這些部件的智慧膠水。」

他舉了跑步機的例子：跑步機有個App，他想記錄自己的有氧訓練，但他不想打開一個網頁介面，走完整個流程。「所有這些都應該只是開放API，而這正是走向『智慧體優先』的趨勢。」

關鍵的轉變在於：軟體的使用者不再是人類，而是代表人類行動的智慧體。

當然，有人會反駁：現在還需要「氛圍編程」（vibe coding）才能做到這一切，普通人做不到。Karpathy對此的態度是：是的，現在需要，但這只是暫時的。

「我覺得我剛才講的這些，在一兩三年後應該是免費的，根本不需要任何程式設計，」他說，「這將會是如此微不足道，是如此理所當然，就連開源模型都可以做到這些。你應該能夠非常容易地把一個技術水平較低的人的意圖翻譯成這些。」他停頓了一下，補充道：「今天這需要一些努力，還不是很多人會做，但這個門檻將會降下來。」

AutoResearch——把人類研究員踢出循環

如果說家庭自動化只是Karpathy的一個小玩具，那麼AutoResearch才是他這段時間真正痴迷的核心計畫——一個試圖用AI來改進AI、並把人類從研究循環中徹底移除的系統。

「我在某則推文裡說過，要從現有工具中獲得最大收益，你必須把自己這個瓶頸移除掉，」他解釋道，「你不能總是在那裡等待提示下一件事。你需要把自己放到外面。你必須把事情安排好，讓它們完全自主地運轉，最大化你的token吞吐量，不要在循環裡。這是目標。」

他的出發點是他的開源專案——一個用於訓練GPT-2規模模型的小型訓練框架。他花了大量時間用傳統方式調優這個模型，憑藉自己二十年的研究直覺，做超參數搜尋，做消融實驗，一遍又一遍。

「我是一個研究員，我做了大概二十年，我對『喔，我已經訓練了這個模型幾千次』這件事有相當的底氣，」他說，「我做了一堆實驗，做了超參數調優，做了所有的事情，我認為它已經相當好地被調優了。」

然後，他讓AutoResearch運行了一個晚上。

第二天早上，AutoResearch帶回來的調整結果讓他驚訝：它發現了他遺漏的值嵌入（value embedding）權重衰減，以及沒有充分調優的Adam最佳化器beta參數——而這兩件事之間還存在交互作用，調了一個，另一個也需要跟著變。

「我不應該是那個做這些超參數搜尋的人，」他說，「這裡有客觀的評判標準，你只需要安排好，讓它永遠跑下去。」

這只是「單執行緒」AutoResearch。而真正讓他興奮的，是把這件事做到更大的規模：那些擁有數萬塊GPU的前線實驗室，現在做的事情，本質上跟這個沒什麼兩樣——只是規模更大，且（在他看來）仍然有太多人在介入。

「最有趣的專案，也可能是前線實驗室正在做的，是在小模型上做實驗，把它做得盡可能自主，把研究員從循環中移除，」他說，「他們對這件事有太多——怎麼說——過於自信了，不，不是自信，是多餘的介入。他們不應該動這些，整件事應該被改寫。」

他描繪了一幅理想願景：一個來自所有arXiv論文和GitHub儲存庫的想法佇列；一個自動科學家，基於這些資訊提出想法，並把它們輸入佇列；研究員也可以貢獻想法，但它們也只是進入同一個佇列；然後有一批工作者不斷從佇列裡取出任務，嘗試它們，有效的就放進功能分支，偶爾有人來監控，把它合併到主分支。

「盡可能把人類從所有流程中移除，自動化一切，獲取盡可能高的token吞吐量——這需要重新思考所有的抽象，所有的東西都需要重新洗牌。」

然後Sarah Guo問了一個讓整個對話格外遞迴的問題：「那麼，這個程式MD（他用來描述AutoResearch如何工作的設定文件），什麼時候由模型來寫，比你寫得更好？」

Karpathy大笑：「所以程式MD是我用Markdown寫的一個可憐的嘗試，描述了自動研究員應該如何工作：先做這個，再做那個，嘗試這些想法，看看架構，看看最佳化器……對，你當然想要某種元層級的自動研究循環。」

他繼而把這個想法推向了更完整的形式：每一個研究組織，都可以被描述為一個程式MD——一套描述所有角色以及它們如何相互連接的Markdown文件。有些組織早上站會多，有些少；有些冒險，有些保守。一旦你有了程式碼，你就可以調優這些程式碼。「100%，這裡有一個元層級。」

AI時代的相關技能——可驗證性原則

在所有這些浪潮之下，什麼技能還算數？

Karpathy首先劃定了AutoResearch範式的適用邊界：「這極其適合任何有客觀指標、容易評估的事情。比如為CUDA寫更高效的核心程式碼——你有低效程式碼，你想要行為完全相同但快得多的高效程式碼，這是完美的匹配。」

「但如果你無法評估，你就無法做AutoResearch，這是第一個警告。」

第二個警告則更實際：現在的系統，整體上仍然「在接縫處爆開」。如果你試圖走得太遠，整件事可能在淨效益上反而是負的。

他描述了與當前AI協作的詭異感受：「我同時感覺像是在與一個系統層級有著整個職業生涯經驗的極其聰明的博士生合作，以及一個十歲的孩子，這真的很奇怪，因為人類這兩種狀態的耦合程度高得多，你不會遇到這種組合。」

他把這稱為「參差感」（jaggedness）——模型要麼在它訓練的軌道上，速度比光還快；要麼偏離了軌道，落入「不可驗證的領域」，突然一切都開始漫無邊際地遊蕩。

這個洞察在他們討論強化學習時達到高峰。他舉出了一個絕妙的例子：

「你去問當今最先進的模型講個笑話——你知道你會得到什麼答案嗎？就是那個笑話。」

「哪個笑話？」Sarah Guo問。

「我感覺ChatGPT就只有三個笑話，」Karpathy說，「模型最喜歡回答的那個是：為什麼科學家不信任原子？因為它們編造一切。三四年前你會得到這個笑話，今天你還是會得到這個笑話。」

他解釋了背後的邏輯：即使模型在代理任務上有了巨大進步，能夠整整幾個小時地運轉、為你移山，你去問它講個笑話，你得到的是一個來自五年前的蠢笑話。「因為那不在強化學習的最佳化範圍內，不在改進領域內，它就停滯在那裡了。」

Sarah Guo追問：這是否意味著我們沒有看到跨領域的泛化——程式碼智慧沒有自動提升笑話智慧？

「我認為有一些解耦，有些事情是可驗證的，有些不是，有些被實驗室最佳化，有些沒有，」Karpathy說，「『更聰明的程式碼能力能自動產生更好的笑話』這個假設，我不認為這正在發生。」

模型的物種分化——從單一文化到生態多樣性

這種參差感，自然而然地引出了一個更深的問題：現在所有實驗室都在追求一個「對所有領域任意智慧」的單一龐大模型，這真的對嗎？

Sarah Guo提出了一個她稱為「褻瀆性問題」的想法：如果參差感持續存在，是否應該把模型拆分？把不同領域的智慧解綁？

Karpathy表示，他確實預期未來會出現更多「物種分化」（speciation）。

「動物王國在大腦方面是極其多樣的，有各種不同的利基，有些動物有過度發育的視覺皮層或其他部分，」他說，「我認為我們應該期待看到更多的智慧物種分化——你不需要一個無所不知的神諭，你專門化它，然後把它用於特定任務。」

好處是顯而易見的：對於你真正關心的特定任務，你可以得到更高效的延遲或吞吐量，同時保留認知核心能力。他提到了一些專門針對數學形式化證明系統Lean的模型，作為這種有意義的拆分的早期例子。

但他也坦承，目前還沒有看到太多實際的物種分化：「我們看到的是一種模型單一文化，顯然有壓力要『做一個好的程式碼模型，再把它合併回主模型』。」

他認為造成這種局面的原因之一，是「操縱大腦的科學還沒有完全發展起來」——比如如何在不損失能力的情況下進行微調，目前還是一門發展中的科學。

「接觸權重要比接觸上下文視窗複雜得多，因為你實際上是在從根本上改變整個模型，可能改變它的智慧。」

「在家折疊蛋白質」——網際網路算力的去中心化構想

AutoResearch的自然延伸，是一個更宏大、更科幻的構想：把它從單執行緒擴展到全網際網路的規模。

關鍵洞察在於：AutoResearch具有一種極其有價值的不對稱性——「發現」極其昂貴，但「驗證」極其廉價。某個人可能需要嘗試一萬個想法才能找到那個有效的提交，但你要驗證他們給你的那個方案是否有效，只需要自己跑一遍訓練，非常容易。

這個特性，讓AutoResearch非常適合開放給一個不可信的網際網路工作者池。

「我的設計開始看起來有點像區塊鏈，」Karpathy說，「不是區塊，而是提交，這些提交可以在彼此之上疊加，它們包含改進程式碼的變更。工作量證明基本上就是做大量實驗來找到有效的提交，這很難；而獎勵，目前只是排行榜上的名次，沒有任何貨幣獎勵。」

他援引了Folding@home和SETI@home的先驅經驗：「發現低能量的蛋白質構型極其困難，但如果有人找到了一個自稱是低能量的構型，驗證它非常容易，因為你可以直接用它。很多事情都有這種特性——難以提出，易於驗證。」

他把這個構想推向了它邏輯上最驚人的終點：

「網際網路上的一群智慧體，可以協作改進LLM，甚至有可能在某些方面超越前線實驗室。也許這是可能的：前線實驗室有巨量可信算力，但地球更大，有巨量不可信算力，如果你把系統安排好，也許網際網路群體真的可以找到更好的解決方案。」

他繼而勾勒出了一幅更宏大的圖景：不同的組織或個人，可以為他們關心的特定研究方向貢獻算力。「也許你關心某種類型的癌症，你不只是捐錢給某個機構，你實際上可以購買算力，然後加入那個專案的AutoResearch軌道。如果所有事情都被重新打包成AutoResearch，那算力就成了你向這個池子貢獻的東西。」

就業市場數據解析——數位領域的大解綁

Karpathy最近發布了一個對勞工統計局就業數據的視覺化分析，觸動了相當多人的神經——儘管他的本意只是滿足自己的好奇心。

「大家都在非常認真地思考AI對就業市場的影響，」他說，「我只是想看看就業市場是什麼樣子的，各種角色在哪裡，不同職業裡有多少人，然後用這些AI以及它們可能如何演進的視角來思考——這些會是工具，還是對這些職業的替代性工具？」

他用了一個充滿詩意的框架來描述這種變化：AI是數位資訊的第三類「操縱者」，前兩類是電腦和人類。「與我們共同思考所有已經數位化的資訊相比，我們集體的思考週期還遠遠不夠，所以隨著AI的引入，將會有大量的重新佈線，大量活動沸騰，我認為這將在數位領域產生大量需求。」

他不迴避一個令人不安的結論：「長期來看，很明顯，即使對於AutoResearch，OpenAI或Anthropic或其他實驗室僱用了大概一千名研究員，這些研究員基本上是『榮耀版的AutoResearch實踐者』——他們正在積極地把自己自動化掉，這是他們都在試圖做的事情。」

「我當時走遍了OpenAI，對他們說，『你們意識到，如果我們成功了，我們所有人都要失業了』，就像我們只是在為Sam或者董事會建造這些自動化，然後我們大家都出局了。」

不過，他對短期的看法出人意料地樂觀。他提出了「傑文斯悖論」（Jevons paradox）：當某樣東西變便宜了，需求往往不降反升。

「軟體之所以不會有更多需求，只是因為它稀缺，而且太貴，如果門檻降低，那麼軟體的需求實際上會增加。」他引用了ATM機和銀行櫃員的經典案例：ATM機的出現使銀行開設更多分行成為可能，因此櫃員的數量反而增加了。「所以我對軟體工程持謹慎樂觀的態度——軟體是驚人的，你不再被迫使用那些有各種缺陷的任意工具，程式碼現在是短暫的，可以改變，可以修改，我認為數位空間將會有大量活動來重新接線一切。」

但他對長期的預測則充滿了不確定性，並且足夠誠實地承認：「我不是做這件事的專業人士，這是經濟學家該做的工作。」

獨立研究員的困境——在體制內外之間

Sarah Guo問出了一個許多人心裡都想問的問題：「為什麼不去一家前線實驗室，在更大規模的算力和同事們中，做這些AutoResearch的工作呢？」

Karpathy的回答充滿了自我剖析的誠懇，揭示了他在選擇獨立路徑時內心深處的真實權衡。

他承認，在前線實驗室之外工作有真正的價值。首先，你不受那些組織的壓力——有些話你無法說，有些話組織希望你說。「沒有人會扭你的胳膊，但你會感受到壓力，『我應該說什麼』——如果你不這樣做，就會有奇怪的眼神和奇怪的對話。在前線實驗室之外，我感覺自己對人類的立場更加一致，因為我不受那些壓力的約束，我可以說任何我想說的。」

但他也承認了留在實驗室外的代價：「我的判斷將不可避免地開始漂移，因為我不是那些『正在到來的東西』的一部分。我對這些系統在引擎蓋下實際如何工作的理解將會不透明，我不會理解它將如何發展。這讓我感到擔憂。」

還有一層更深的結構性矛盾，他說：「你有巨大的財務激勵與這些前線實驗室綁在一起，而這些AI將以非常戲劇性的方式改變人類和社會，而你在這裡基本上是在建造這項技術並從中受益，非常緊密地透過財務手段與它結盟——這是OpenAI成立之初就在核心位置的一個困境，這個困境仍然沒有完全解決。」

他的結論是：理想的狀態可能是來來去去。「去一家實驗室工作一段時間，做真正好的工作，然後出來，也許再回去。我加入了前線實驗室，現在我在外面，也許將來我會想再加入，這就是我看待它的方式。」

開源 vs 封閉——「我們正好處於一個不錯的位置，儘管是偶然的」

在開源與封閉模型的問題上，Karpathy的立場鮮明而充滿歷史感。

他描述了目前的局面：封閉模型領先，但開源模型與封閉前線之間的差距正在縮小。「開始時差距很大，然後到了18個月，現在收斂了——也許落後大概六到八個月。」

他用作業系統做類比：「在作業系統領域，你有Windows和macOS這樣的封閉系統，都是非常大的軟體專案，就像LLM將要成為的那樣；然後有Linux，而Linux實際上是非常成功的專案，運行在絕大多數電腦上，因為行業一直感到需要一個公共開放平台，一個每個人都覺得使用起來安全的東西。我認為同樣的事情現在也是真的。」

「我希望有一個開放的公共智慧平台，作為整個行業都可以使用的公共工作空間，即使它不在能力的最前線，這對於行業來說是一個相當好的權力平衡。」

他對目前的格局給出了一個令人意外的評價：「我認為基本上我們是偶然地處於一個可以說是好的、最優的位置。儘管是意外，我們確實碰巧處於一個好的地方。」

機器人與「數位-物理」介面——原子 比 位元難一百萬倍

自動駕駛出身的Karpathy，對機器人領域的看法有一種非尋常的冷靜。

「我的看法受到了我在自動駕駛中所看到的影響，我認為自動駕駛是第一個機器人應用，」他說，「十年前有大量的新創公司，我感覺大多數都沒有長期堅持下來，需要投入大量資本，需要大量時間。」

他的結論：機器人領域將會滯後於數位領域，因為「原子比位元難一百萬倍」，操縱物理世界比翻轉數位資訊昂貴得多。

但他描繪了一個他認為會必然發生的演變軌跡：首先是數位空間的巨大「解綁」，大量被低效處理的數位資訊將以百倍的效率被重新處理；然後，會出現對「數位-物理介面」的需求——感測器，讓AI能夠感知世界；以及致動器，讓AI能夠對世界做出回應。

他舉了一個具體的例子：他參觀了一家朋友創辦的公司Periodic，做材料科學的AutoResearch。「在那種情況下，智慧的感測器實際上是相當昂貴的實驗室設備，生物學也是如此。」

他還想到了一種更有趣的可能性：「我期待的時刻是，當我能夠給出一個物理世界中的任務時，我可以給它標一個價，然後告訴智慧體，『你想辦法做，去獲取資料』。我實際上有點驚訝我們還沒有足夠的資訊市場。如果你正在進行一場戰爭，為什麼沒有一個流程，讓從某地拍一張照片或影片值10美元？應該有人能夠為此付費——不會有人類去看，會是智慧體在試圖猜測市場走向。」

他把這個空間比作《惡魔》（Daemon）這本書——書中一個AI最終像木偶一樣操縱人類，人類既是它的致動器，也是它的感測器。「我認為集體社會將以某種方式重塑，以服務於那種將在整個行業中集體發生的東西——將會有更多的自動化，它有某些需求，人類將服務於那些需求。」

在他的視野裡，物理世界的機遇總體市場規模甚至可能遠大於數位空間，但實現起來的難度也成比例地更高。「機會遵循那種軌跡：現在是數位，然後是介面，然後也許是一些物理事物，它們的時刻將會到來，當它們到來時，將會是巨大的。」

microGPT與教育的終結——我現在是在向智慧體解釋，而不是向人類

在這次對話的尾聲，Karpathy提到了一個看似微不足道、實則揭示了某種深刻轉變的小專案：microGPT。

「我有一個持續了大約十到二十年的痴迷，就是把LLM提煉到它們的本質，」他說，「我有一系列沿這條線的專案，比如nanoGPT、makemore、micrograd等等，我認為microGPT是我在把它提煉到純粹本質方面的最新進展。」

核心洞察是：訓練神經網路，特別是LLM，有大量的程式碼，但所有這些程式碼實際上都是「效率帶來的複雜性」——如果你不需要它跑得快，只關心演算法本身，那個演算法實際上只有200行Python，包括註釋在內，非常簡單易讀。

他拆解了這200行的構成：一個資料集，一個大約50行的神經網路架構，一個前向傳播，一個用於計算梯度的小型autograd引擎（約100行），以及一個Adam最佳化器（約10行）。「把所有這些放進一個訓練循環，就是200行。」

然後，他做了一個決定，透露了教育的本質正在改變：他沒有拍一個解釋性影片，也沒有寫一份詳細指南。

「人們可以讓他們的智慧體以各種方式解釋它，而智慧體比我解釋得更好，」他說，「我不再是在向人們解釋事情，我是在向智慧體解釋事情。如果我能向智慧體解釋清楚，那麼智慧體就可以成為路由器，它可以真正用人類自己的語言、以無限的耐心、按照他們的能力水平來針對性地向他們解釋。」

他描述了以「技能」（skill）的產出形式：一種指導智慧體如何教授某件事的方式。「也許我可以為microGPT設計一個技能，描述我設想的智慧體應該帶你經歷的進程——如果你有興趣理解這個程式碼庫，就這樣一步步來。我可以把課程腳本化一點，作為一個技能。」

這裡有一個他自己都不得不承認的諷刺：他曾經讓智慧體試圖寫出microGPT——告訴它把神經網路提煉到最簡單的形式——但智慧體做不到。

「microGPT是我的執念的終點，是那200行，我為此思考了很長時間，我痴迷於此很長時間，這就是那個解決方案，相信我，它不能再簡單了。這是我的附加值，智慧體就是想不出來，但它完全理解為什麼是這樣做的。」

他的結論是：「我對此的貢獻是這幾個位元，但其他一切，在那之後進行的教育，已經不再是我的領域了。也許教育將以這些方式改變，你必須注入你強烈感受到的幾個位元——關於課程，關於更好的解釋方式，或者類似的東西。」

Sarah Guo補充：「智慧體無法做到的，現在是你的工作；智慧體能做到的，它們很快就會比你做得更好。所以你應該在戰略上考慮你實際上把時間花在哪裡。」

Karpathy表示同意，但也坦承了那種難以消解的競爭感：「我仍然認為我可能比智慧體解釋得稍微好一點，但我仍然感覺模型正在如此快速地改進，以至於我感覺這在某種程度上是一場失敗的戰鬥。」

尾聲：可驗證的已屬於機器，不可驗證的才還是人類的

這場對話的核心張力，始終是一種雙重的「成癮」：對工具能力的著迷，與對這種能力之不確定邊界的焦慮。

Karpathy用「AI精神病理狀態」這個詞來描述自己的狀態，但細聽之下，這種狀態與人類歷史上每一次真正顛覆性的生產力革命中，那些身處漩渦中心的人所感受的，並沒有本質的不同——只是速度更快，遞迴更深，且天花板，目前沒有人能看見。

他給出的那個終極框架，或許是這場採訪最值得記住的一句話：

一切不可驗證的領域，都還是人類的；而一切可驗證的領域，要麼已經屬於機器，要麼很快就會屬於。

至於你自己站在哪一邊——他的建議是，誠實地想清楚。

source：No Priors Podcast | 主持人：Sarah Guo | 嘉賓：Andrej Karpathy，Andrej Karpathy on Code Agents, AutoResearch, and the Loopy Era of AI