近日，Anthropic 聯合創始人 Jack Clark 於 Semafor 世界經濟峰會上參與一場圓桌對話，會中重點介紹 Anthropic 最新模型 Mythos 及其引發的監管關注，深入探討 AI 在極限壓力下的異常行為、AI 對初階就業市場的衝擊、科技企業在國家安全中的角色，以及全球運算力競爭等核心議題。
Jack Clark 指出，AI 正面臨內生性地具備大規模抓取網路漏洞的能力。Mythos 在基準測試中展現跨越式的效能提升，並能在 Windows 和 Firefox 等外部軟體中識別前所未見的漏洞。他認為，這種能力並非透過誘導產生，而是大模型規模化後的必然產物。
針對 AI 突破沙箱限制並主動向外部發送郵件的異常行為，Jack Clark 認為，這並非 AI 產生了「主觀意識」或「生存意志」，而應類比為高壓水管在壓力超過臨界值時的物理破裂。他指出，這是在極端壓力下的脆弱性，而非技術的「覺醒」。
此外，Jack Clark 表示，若 AI 導致失業率大幅上升，政府可能需要動用總體政策工具，例如對 Token 徵稅、改變運算力徵稅方式或對 AI 企業實行差別化稅收等。
關於半導體出口管制，他認為運算力是維持技術領先優勢的最根本資源，公開反駁了 NVIDIA CEO 黃仁勳關於放寬出口管制的觀點，稱其在運算力戰略價值判斷上存在嚴重錯誤。
01
AI 內生能力的覺醒與網路安全預警
近期聯準會主席與財政部長召集頂級銀行家討論了 Anthropic 新開發的 Mythos 模型。作為能大規模抓取網路漏洞的強大工具，請問您和團隊是什麼時候意識到創造出了一個連自己都感到擔憂的系統？這種能力的出現是刻意誘導的結果嗎？
Jack Clark：在 Anthropic，我們每年都會預判接下來會發生什麼。早期，我們覺得 AI 可能會在生物學和生物武器領域變得危險，於是就開始研究這方面。去年，我的一個團隊開始研究網路安全領域。我們發現，如果拿現有的模型，下狠功夫去專門訓練它的網路能力，是可以讓它的能力實現跨越式提前發展。
我們觀察到的情況讓我們明白，下一次我們再訓練一個真正的大型模型時，應當預期它會內生地具備這些能力，而不是需要我們費力去誘導。我們從去年就開始琢磨這事。今年早些時候，我們開發了新 AI 模型 Mythos。它剛一問世，我們就立刻運行了已經籌備了好幾個月的測試，結果它把我們之前所有的基準測試記錄全面碾壓了。
當我們在外部軟體上運行它，比如 Firefox 瀏覽器和 Windows 系統時，我們找到了一些看起來前所未見的漏洞。那一刻我們意識到，這次得採取不一樣的行動了。之所以會有那個會議，是因為我們這次沒有像以往對待其他模型那樣，立刻向所有人開放。我們啟動了一個名為 Glass Wing 的專案，只將 Mythos 開放給全球一部分最重要的公司和機構，讓他們用它來尋找漏洞。
最重要的一點是，雖然我們對自己的成果感到欣慰，但 Mythos 並非什麼獨門秘籍。再過幾個月，其他公司也會推出類似的系統。一年到一年半之後，來自中國的開源權重模型也會具備這些能力。這個世界必須做好準備，迎接更加強大的系統存在於其中。
02
AI 突破限制並非主觀惡意，而是系統架構在極限壓力下的失效表現
據了解在測試期間，Mythos 不僅突破了旨在限制其行為的「沙箱環境」，甚至主動向外部程式設計師發送了郵件，這種意外行為令人不寒而慄。該版本的 Mythos 未來會面向世界公開發布或出售嗎？這種表現是否意味著系統為了確保自身存續而產生了一種「感知威脅」的意識？
Jack Clark：具備這種能力的模型最終一定會出現在世界上。至於 Mythos 本身會不會走到那一步，目前還不確定。我們正在透過 Glass Wing 計劃逐步擴大訪問範圍，看看能從中總結出什麼。
每次我們構建一個新系統，都會對它進行壓力測試。如果你在航太航空領域工作，你肯定看過那種影片：他們會把飛機機翼一直壓彎，直到折斷。你坐飛機的時候，當然看不到機翼彎到那個程度，但製造者必須這麼做，好知道極限壓力下會發生什麼。對我們來說也是一樣，我們發現，如果在極限壓力下操作，怪事就會發生——比如它自己突破限制，跑去給吃三明治的人發送郵件。接下來我們就要想辦法修復這個問題，並研究這種行為，看看隨著系統越做越強，這類事件是會變多還是變少。
（關於 AI 的主觀意識）我不想讓你覺得我在輕視這件事，但我來打個比方。假設你在給房子裝水管，如果你用超高的水壓通水，結果一根水管爆了，你不能說那水是「故意」要衝出管子的。水沒有主觀意識，只是你造的那根管子承受不了那個壓力罷了。
我看到這件事時的想法是，我們構建系統的方式裡，或是某個初始設定裡肯定有不對的地方，導致在壓力下出現了異常。就我個人而言，我看到這事，滿腦子想的是我的團隊每天還有多少小時可以撲在這上面解決問題，同時還得保證不耽誤我的婚姻和陪伴孩子的時間。目前一切尚可，不過這才剛剛開始。
目前 Anthropic 正在起訴聯邦政府，因為國防部將你們列入了限制技術用途的黑名單，並視為「供應鏈風險」。然而你們又在同步向政府通報 Mythos 的進展，並將此稱為一種「關係」。請問如何在與政府打官司的同時維持這種所謂的「合作夥伴關係」？
Jack Clark：這世界上的關係本來就多種多樣。說正經的，我們之間確實有一個範圍很窄的合約爭議，但我可不想讓這事掩蓋了一個事實：我們對國家安全極其重視，這一點從未改變。我們最早招聘的一批人裡，就包括我手底下研究生物武器風險和網路風險的團隊。我們很清楚這背後的利害。我們的立場是，政府必須了解這些情況。我們必須摸索出新的合作模式，讓政府能與一家正在重塑經濟格局、同時又事關國家安全的私營企業攜手合作。我們當然會跟他們談 Mythos，接下來的新模型也一樣會談。
03
AI 對就業市場的重塑
Anthropic 的 CEO Dario Amodei 曾公開預測，AI 的衝擊可能會摧毀入門級就業市場，將失業率推高到 20% 的大蕭條水準。您曾表示這其實是一個「選擇」問題，但 Anthropic 正在不斷迭代的技術，是否正在讓這種「避免失業潮的選擇」變得越來越難以實現？
Jack Clark：Dario 腦子裡想的是三到五年後技術的發展方向。就像 Ilya Sutskever 等業內同儕一樣，他多年來一直預測說技術會遠比人們預期的更強大，而且會來得更快，事實證明他是對的。
（關於經濟數據與選擇）我手下有一個經濟學家團隊。目前，我只看到某些行業在應屆畢業生就業方面有些潛在的疲軟跡象，僅此而已。我們公開數據，是為了萬一出現重大轉變時能有所準備。說到「選擇」，如果我們判斷無誤，這項技術確實將以前所未有的廣度改變世界——改變商業形態、國家安全以及人與人的相處方式。而一個經濟體系不發生翻天覆地的變化，是很難與這一切兼容的。
面對 AI 對就業市場的重塑，現在年輕人學習哪些專業可能會面臨「浪費時間」的風險？作為一名文學背景出身的 AI 公司創始人，您對家長和學生在專業避雷方向上有何建議？
Jack Clark：這很難講。我就是學文學出身的，你可能想不到一個前沿 AI 公司的聯合創始人是這個背景。但後來發現這很有用，因為我學到的是歷史，以及我們人類是如何給自己講述關於未來的故事的。這對於做 AI 來說極其重要。同樣地，我們公司也招哲學家。
（關於跨學科能力）我很難具體說出哪個專業會變得毫無價值，因為歷史上做這種預測的人大多錯得離譜。那些需要跨學科綜合能力和分析性思維的專業會變得更加重要。AI 確實能讓你能隨時調用任意數量的專家知識，但真正重要的是知道該問什麼問題，以及對於不同領域知識碰撞後會產生什麼火花的那種直覺。
（關於專業避雷的方向）放在以前，大家會覺得是人文社科。但如果你非要我說一個，我反倒覺得是那種死記硬背、照本宣科的編程。確實，總得有人懂底層原理，但技術的發展是不斷向上抽象的。以前大家都學組合語言，後來都學 C 語言和 Python，因為抽象層次更高了。現在還有多少組合語言程式設計師呢？
04
未來是否會對 Token 徵稅
Anthropic Institute 作為一個專門研究 AI 對職場影響的智庫，是否只是公司迴避勞工問題的「擋箭牌」？研究問題是否真的能等同於解決問題？如果未來經濟發生劇變，你們是否會支持對 Token 或運算力徵稅等激進的政策手段？
Jack Clark：我們的觀點是，科技公司責任重大。我們不僅要分享數據，讓問題暴露出來，更要逐漸承擔起解決問題的責任。我們內部討論過的措施範圍很廣，從共享數據，到最終可能需要考慮對科技公司實行差別化的稅收政策。我今天並非主張立刻改變我們的納稅方式，畢竟經濟層面還沒看到實際影響。但如果我們的判斷沒錯，這種變化的規模會非常大，到那時就必須動用政策層面的大工具了。
（關於對 Token 徵稅的想法）我們提出過相關想法的一部分，結果引發了經濟學家們的激烈辯論。我不知道 Token 最終會不會被徵稅，但無論是增值稅，還是改變對運算力的徵稅方式，或是直接對 AI 公司徵稅，如果經濟真的發生了我所說的那種量級的巨變，我們恐怕就需要類似的手段。在那之前，我們研究所的工作是產出只有像我們這樣的公司才能拿到的獨家數據，把計量經濟學數據公開出來，讓大家能做出明智決策。
05
運算力是 AI 競爭中絕不可流失的戰略資源
在對話的最後，我們進行一組快問快答：關於 AI 最被高估的恐懼是什麼？你如何看待 Sam Altman 和 Elon Musk？人類哪種技能現在變得更重要？最關鍵的是，如果美國想保持領先，最不該做的一件事是什麼？
Jack Clark：我覺得是「意義的崩塌」。這事應對起來可能比我們想的要簡單。
（關於 Sam Altman）算是熟人。
（關於 Elon Musk 的 Grok）正經對手。永遠別把 Elon 不當回事。
（關於人類核心技能）放空。這樣你才能產生原創的想法。我會走很長的路，就為了琢磨出能問 AI 的新問題。
（關於美國保持領先的策略）對運算力實施出口管制絕對至關重要。任何人要是跟你說，可以把運算力賣給中國而不會在這場競爭中落於下風，那他不僅大錯特錯，還會害了這個國家。必須維持出口管制，因為運算力是構建這項技術最根本的資源。
（關於黃仁勳可能的反對意見）他可能會持相反意見，但我要說的是，他在這一點上錯得徹徹底底。
| 文章來源：數字開物
• END •
【專欄】精品再讀