昨天,Anthropic發布了一份名為《智慧型代理編碼與專業知識的回報》的研究報告。
這份報告根據大約40萬次的Claude Code會話數據,揭示了一個違反直覺的結論:程式碼智慧型代理不是在消滅專家,而是在獎勵那些真正懂業務的人。
核心數據顯示,在智慧型代理編碼中,人類負責大約70%的規劃決策(做什麼),而Claude負責大約80%的執行決策(如何做),「人們決定建構什麼,智慧型代理決定如何建構」。
更驚人的是,非軟體職業使用者的編碼成功率幾乎與軟體工程師持平(驗證成功26% vs 30%,部分成功88% vs 89%),十大職業群組的成功率差距都在7個百分點以內。
真正拉開差距的是領域專業知識,而非程式編寫能力。專家使用者每次指令觸發的Claude行動量是新手使用者的2.4倍(12 vs 5),輸出的文字量則是5倍(3200 vs 600字)。
遇到麻煩時,新手的放棄率高達19%,而中高階使用者僅有5-7%。但關鍵的發現是:從新手到中階的躍升收益最大,從中階到專家的邊際提升則很小,「對領域的工作掌握擷取了大部分的收益,而深度的專業化只是再增加一點點」。
在這七個月內,除錯類型的會話佔比從33%暴跌至19%,操作軟體、數據分析、文件寫作則翻倍成長。任務的經濟價值平均上漲了25%,其中建構類任務的漲幅達到43%。
這份報告暗示了勞動力市場的重新洗牌:當「表現得像個管理者」能帶來更高的成功率時,懂業務的人加上AI工具,正在取代只會寫程式的人。
以下為報告全文——
《智慧型代理編碼與專業知識的持久回報》
關鍵發現
在先前工作的基礎上,我們引入了一個研究互動式智慧型代理編碼的框架,這是基於對2025年10月至2026年4月期間約40萬次Claude Code會話所進行的隱私保護分析。我們評估了工作任務的構成、人機協作,以及成功率。
在一次典型的會話中,人類做出大部分的規劃決策(做什麼),而Claude則做出大部分的執行決策(如何做)。一個人帶入會話的領域專業知識越多,Claude在每個指令下完成的工作就越多。
在編碼任務上,每個主要職業的成功率——完成使用者設定的目標,並有可驗證的證據,例如通過測試或提交成品——平均而言與軟體工程師幾乎相同。
一個人擁有的領域專業知識越多,該會話以成功收尾的可能性就越高——儘管中階使用者與專家使用者之間的差距並不大。
在我們觀察的七個月內,用於除錯的會話佔比下降了將近一半,使用轉向了更多端到端的智慧型代理應用:包含部署和執行程式碼、分析數據,以及撰寫非程式碼的文件。
在這七個月內,典型任務的預估價值——透過與自由接案工作發布進行比較來估算——在幾乎所有類型的工作中都上升了——平均約25%。
引言
智慧型代理編碼已經起飛。自2025年底以來,GitHub專案中帶有編碼智慧型代理活動的佔比翻了一倍以上,Claude Code使用者現在平均每週使用該工具20小時。
沒有正式編碼經驗的人能否成功引導智慧型代理完成複雜的技術工作?這些工具的迅速採用與改進,對整體知識工作而言又意味著什麼?雖然我們還沒有這些問題的完整答案,但我們從Claude Code的使用數據中尋找了一些早期的訊號。
本報告提供了關於Claude Code在實務上如何被使用的證據,這是基於對2025年10月至2026年4月期間,約23.5萬人所進行的約40萬次互動式會話的隱私保護分析。
它建立在先前專注於Claude Code會話中的自主性衡量,以及Claude Code如何改變Anthropic公司工作的基礎之上。
在這裡,我們引入一個描述互動式AI編碼助手使用狀況的框架:正在進行什麼樣的工作、是誰在做,以及是否成功。我們關注的是透過命令列介面(CLI)、Claude.ai或Claude Code桌面應用程式使用Claude Code的情況。
透過追蹤智慧型代理編碼的使用如何隨著模型能力提升而變化,我們可以更好地理解這些工具如何影響編碼專業人士和知識工作者的勞動力市場。
Claude Code上發生的事情,可能是知識工作未來走向的一個預覽,因為智慧型代理正被嵌入到非編碼的工作中。我們發現Claude正在處理更複雜、更有價值的任務。與此同時,智慧型代理編碼中仍存在著明確的分工:人們決定建構什麼,智慧型代理決定如何建構。
我們也看到證據表明,是領域專業知識,而非編碼熟練度,放大了該工具的有效使用。特別是,領域專家更頻繁地成功,並且更容易從錯誤和誤解中恢復過來。
然而,專家與中階使用者之間的差距不大——這表明在某個領域的熟練度,就足以讓一個人幾乎和深度掌握該領域的人一樣有效地使用該工具。
這些發現為我們提供了對勞動力市場可能轉變的早期解讀。
在我們的數據中,成功取決於一個人對試圖解決的問題理解得有多好,而不是他們是否受過編碼培訓。
如果這些模式在整個經濟體系中持續存在,這表明雖然智慧型代理編碼工具可能正在吸收一些以實作為主的工作,但它們也在獎勵那些對工作中解決的問題有紮實理解的人。
編碼智慧型代理並沒有取代領域專業知識——工作者帶給智慧型代理的理解越多,智慧型代理就能完成品質越高的工作。
分工
人們使用Claude Code做什麼
為了了解人們使用Claude Code做什麼,我們將每個會話分類為九種工作模式之一——也就是最能描述該會話試圖完成的單一活動。
其中四種模式涉及直接編寫或維護程式碼:構建新東西、修復壞掉的東西、測試程式碼,以及編排其他智慧型代理或自動化流程管線。
另一個類別是操作軟體——部署、配置、執行管線、監控系統。
有兩個類別更多是關於確定要做什麼:理解現有系統是如何運作的,以及在做出變更之前進行規劃。另外兩個則是採取與程式碼無關的行動,或者說程式碼對最終產品而言是附帶的:分析數據,以及透過簡報和其他散文形式文件進行的溝通交流。
約56%的會話包含編寫(25%)、修復(26%)或測試與編排程式碼(5%)。操作軟體佔17%,14%的會話是規劃或探索,13%產出分析或散文(見圖1)。
圖1:九種工作模式 每個互動式會話被分類為最能描述其試圖完成的單一模式。
我們透過讓模型閱讀其記錄來對每個會話進行分類,然後使用我們的隱私保護分析工具,對照為每個會話自動紀錄的遙測數據進行檢查,包含是否添加或刪除了任何程式碼行。
這兩個來源具有高度的一致性——例如,我們的分類器標記為創建或修改程式碼的會話中,超過90%在遙測數據中顯示了程式碼更改。
誰決定什麼
Claude Code的自主性有多高?能力評估顯示其上限很高且正在上升:在METR的時間跨度評估這類基準測試中,前沿模型現在可以自主完成需要人類數小時的軟體任務,並沿途克服障礙。
但實際使用情況如何呢?在這裡,我們看看在實際會話中,由人和Claude進行多少引導。
我們從兩個角度研究這個問題。首先,我們關注人們在多大程度上將決策委託給Claude;其次,我們看看他們給Claude多少行動空間。
為了理解會話中的決策分工,我們基於會話內容構建了一個隱私保護的決策歸屬分類器。我們要求該分類器列出會話中所有有意義的決策。
我們將這些決策分為規劃(做什麼、採取哪種方法、什麼才算完成)和執行(更改哪些檔案、編寫什麼程式碼、使用什麼語言、執行哪些指令)。然後,分類器將每個決策歸屬於Claude或使用者,給每個會話兩個數字:使用者規劃決策的份額和使用者執行決策的份額。
平均而言,人們做出約70%的規劃決策,但只做出20%的執行決策(見圖2)。在實務上,智慧型代理編碼中存在明確的分工——人們決定建構什麼,智慧型代理決定如何建構。
為了理解會話中行動的委託,我們查看會話的結構而非其內容。Claude Code會話涉及Claude與使用者來回交換提示(來自使用者)和行動(由Claude採取)——使用者寫一個提示,Claude去做一些工作,然後使用者再寫另一個提示,如此循環往復。在一個典型的會話中,約有四次這樣的來回。
在我們2025年10月至2026年4月的歷史數據中,使用者發送的每個提示平均觸發約10個Claude行動——有時超過100個。在每個回合中,Claude會讀取檔案、編輯程式碼、執行指令,並平均寫出2,400字的輸出。
Claude在檢查點之間完成的工作量,很大程度上取決於誰在做決策。當使用者保持對執行的控制(即做出超過80%的執行決策)時,Claude每個回合採取的行動較少(約8個行動)。
當Claude控制規劃(即做出超過80%的規劃決策)時,它會採取最多的行動(約16個)。
圖2:Claude在規劃和執行決策中的份額
在會話中,歸因於Claude而非使用者的規劃決策份額(做什麼)和執行決策份額(如何做)的分佈情況。在一個典型的會話中,使用者做出約70%的規劃決策,而Claude做出約80%的執行決策。
專業水準
從每個記錄中,Claude按五個等級的量表,從新手到專家,來評估使用者顯露出的專業知識。
專業知識分類器會尋找三個訊號:使用者表達其指示的精確程度、他們要求Claude驗證什麼,以及是使用者傾向於糾正Claude,還是Claude傾向於糾正使用者。請注意,專業知識所捕捉到的東西與職位頭銜或一般能力截然不同,而且關鍵的是,它是針對特定任務的。
一位資深工程師詢問他們的第一個Rust問題,在這項任務上,他們可能是Rust新手。一位從未使用過Python的會計師,卻能確切地告訴Claude該Python腳本必須執行哪些對帳規則,並在月底結算時發現它處理不當的邊緣情況,那麼在該任務上,他們就是專家。
下表顯示了我們如何在分類器中定義每個專業水準,以及來自智慧型代理編碼會話公共數據集SWE-chat的請求示例。被歸類為新手的對話給出的是沒有隱含領域特定知識的通用指示。專家對話則傳達了對程式碼庫和技術環境的深入了解。
表1:專業知識分類器
示例為意譯、匿名化並濃縮了我們分類器標記過的真實會話。表中使用的許多會話來自智慧型代理編碼會話的公共數據集SWE-chat。
我們量化了專業知識與Claude每個提示的輸出和活動之間的關係。在典型的新手會話中,每個提示觸發約5個Claude行動和約600字的輸出,而專家會話觸發的行動鏈長度是其兩倍多(12個行動),攜帶的輸出是其五倍(3,200字)(見圖3)。
這種新手與專家會話之間的差距,出現在每一種工作類型和每一個任務價值帶中。
這些指標補充了我們先前關於Claude Code的報告中對自主性的衡量,該報告追蹤了智慧型代理運行了多長時間,以及人們多頻繁地自動批准其行動。
相較之下,我們的決策歸屬衡量捕捉了整個會話中誰做出了實質性決策,而我們每個提示的輸出與行動衡量,則衡量了每個人類提示觸發了多少Claude的自主活動。
圖3:Claude為更專業的使用者每個提示做得更多
Claude為更專業的使用者每個提示產生更多的行動(左欄)和文字輸出(右欄)。方框跨越四分位距(在中位數處分割)。鬚線代表第5到第95百分位。白點是幾何平均值。兩個上升趨勢在統計上都是顯著的(p < 0.001),每個相鄰級別的步驟也是如此,並且在控制了工作模式、任務價值、月份、職業和模型家族的迴歸分析中仍然顯著(每個專業水準行動增加9%,輸出增加13%),標準誤差依使用者聚類。
誰在使用Claude Code,以及用於什麼
使用者
為了了解誰在從事這項工作,我們從會話記錄中推斷每個使用者的職業,將其映射到美國勞工統計局標準職業分類(SOC)分類法中的23個主要群體之一。
分類器被指示僅依賴訊號,例如智慧型代理在會話開始時載入的專案背景、其檔案的名稱和結構、他們引用的任何工件(例如,法律文件、臨床數據、財務報告、課程等),以及他們使用的詞彙。它被明確指示不要將編碼行為視為編碼職業的證據。
只有當有明確訊號表明軟體或數據工作是該使用者的工作時,會話才會被分類為編碼SOC代碼(電腦和數學職業)。一位律師為自動標記資料夾合約中缺失條款而構建腳本的會話,則被映射到法律職業,即使該會話的工作主要是軟體。當沒有任何關於使用者職業的訊號時,會話則保持未分類。
我們能夠在大約70%的會話中推斷出職業。在這一組中,電腦和數學職業——涵蓋大多數軟體相關工作的類別——不意外地是最大的群體。其次是商業和金融營運;藝術、設計和媒體;管理;以及生命、物理和社會科學。我們樣本中成長最快的非軟體職業群體是管理、銷售和法律職業。
工作
2025年10月至2026年4月期間,使用Claude Code完成的工作構成發生了顯著變化。
最明顯的變化是,用於修復損壞程式碼的會話佔比從33%下降到19%(見圖4)。取而代之的是,我們看到更多圍繞程式碼的工作佔比增加。操作軟體從14%增長到21%。編寫和數據分析大約翻了一倍,從約10%增長到20%。
任務本身也變得更有價值。我們透過查詢工作在自由接案市場上的成本,並對照真實發布的公共數據集進行校準,來估算每個會話的經濟價值。依照此標準衡量,平均會話的預估價值在10月至4月期間上升了27%。
這種增長適用於多種工作。構建、操作和修復類任務的價值分別增長了約43%、34%和32%。
這些價格估算是粗略的,因此我們主要用它們來比較不同時間的任務,而不是將其解讀為實際美元價值。
圖4:2025年10月至2026年6月Claude Code工作的構成和價值
在七個月的觀察窗口內,每種工作模式的會話佔比。修復損壞程式碼的會話佔比從33%下降到19%,而操作軟體、分析數據和撰寫文件的佔比則有所增長。
成功取決於使用者帶來了什麼
任務的預估價值是了解Claude Code如何幫助人們完成工作的一種方式。另一個角度則是查看有多少會話是成功的,以及會話的哪些特徵與成功相關。
在我們所有的成功衡量指標中,我們看到一個清晰的模式:一個人在會話中展現的專業知識越多,該會話成功的可能性就越高。
大部分的收益集中在專業水準量表的中低端——新手會話與中階會話之間的差距,大於中階與專家之間的差距。
在轉向探討成功會話的特徵之前,我們應該精確說明我們如何衡量成功。我們無法觀察使用者的真實世界成果,也無法直接詢問他們是否從Claude那裡得到了他們想要的東西。
相反地,我們依賴兩種互補的、基於記錄的衡量方式。第一種,判定成功,來自一個閱讀完整記錄並決定該人是否成功完成了他們設定要做的事情的分類器(選項:成功、部分成功、失敗、無明確目標)。然後,兩個配套分類器會評估該判斷證據的強度,以確定驗證成功。成功訊號分類器會尋找成功的可驗證證據。
特別是,它會尋找與工作匹配的git活動,如提交(commit)和拉取請求(pull request),以及通過的測試套件,還有使用者的明確確認。它將會話從「無訊號」評分到「弱訊號」(1分)再到「多個強訊號」(5分)。
一個平行的失敗訊號則對出現問題的證據進行評分——包括錯誤、失敗的測試、重試、使用者反對其產出。驗證成功要求會話被判定為成功,且至少有一個強烈的可驗證成功訊號。
對於以下侧重於會話中成功或失敗程度的分析,我們排除了被成功結果分類器判定為「無明確目標」的會話,這大約佔我們完整樣本的7.7%。
專業知識的回報
那麼,什麼樣的會話最成功?事實證明,上述對會話的專業知識評級對於會話的成功與否至關重要。
有人可能擔心專業知識不是真正的驅動因素——也許專家只是選擇了不同的任務,或在其他方面有所不同。
在本節中,我們透過比較做相同類型工作、具有相同預估價值、在同一個月份、處理相同主題、來自同一廣泛職業群體的人的會話,並詢問人的評級專業知識如何影響結果,來部分解決這一擔憂。
表2:源自分類器的成功和失敗定義
示例是意譯並總結了來自智慧型代理編碼互動公共數據集SWE-chat的真實會話,並由我們的分類器所標記。
在我們所有的成功衡量指標中,一個人在會話中展現的專業知識越多,該會話成功的可能性就越高。被評為新手的會話達到我們最嚴格的衡量標準——「驗證成功」的時間為15%,至少「部分成功」的時間為77%。被評為中階或以上的會話達到驗證成功的時間為28-33%,至少部分成功的時間為91-92%(見圖5)。
在每種衡量指標中,大部分的收益來自於從新手到中階;在中階和專家之間,斜率則下降。在附錄中,我們給出了圖5背後迴歸分析的詳細資訊。
圖5:專業知識與會話如何結束
按使用者在該任務上的評級專業知識(從新手到專家的五級量表)劃分的會話結果。左側面板包括所有會話。中間和右側面板則限制在那些遇到麻煩(失敗訊號大於3)的會話,並顯示它們仍以各種成功和失敗定義收尾的比例。每個點都是調整後的比率——我們透過僅比較共享相同工作模式、相同任務價值帶、同一個月份、相同任務主題和相同使用者類型(是否為軟體相關職業)的會話,來估計專業水準之間的差異。這些點背後迴歸分析的詳細資訊在附錄中。鬚線是樣本均值的信賴區間(大多數在此圖中太小而不可見)。這些圖表排除了被成功結果分類器判定為無明確目標的會話。
在沿途遇到挑戰的會話中,也出現了類似的梯度。當失敗訊號記錄到失敗的驗證證據時,我們就說該會話遇到了麻煩。這可能是錯誤、失敗的測試、多次嘗試做同一件事,或者是使用者表達沮喪或不滿意。在遇到麻煩的會話中,驗證成功的比例從新手評級會話的4%上升到專家評級會話的15%,並已考慮了上述所有控制變項(見圖5)。查看更寬鬆的衡量標準,我們發現至少部分成功的比例,對於新手為60%,對於中階到專家的會話則為80-81%。
我們也追蹤了反向關係——即專業知識與各種失敗衡量指標之間的關聯。請注意,在此分析中,被判定為失敗的會話是那些甚至沒有部分成功的會話。我們說一個遇到麻煩的會話被放棄了,如果它被判定為失敗且沒有編寫任何程式碼行:看起來是新手的會話中有19%最終被放棄,而其他人則為5-7%。
換句話說,經驗最少的使用者在努力實現他們追求的結果時,更有可能會放棄。專業知識的部分價值,似乎就在於能將智慧型代理引導至正確方向的能力。
職業可能不如專業知識重要
軟體相關職業的人在其會話中約30%達到驗證成功,而其他職業的使用者約26%達到驗證成功。在產生程式碼的會話(即添加或修改至少一行程式碼的會話)中,這些數字分別為34%和29%(見圖6)。
軟體相關職業與其他職業之間的差距,在我們更寬鬆的成功定義下縮小了——兩組在產生程式碼的會話中達到至少部分成功的比例分別為89%和88%。
這五個百分點的差距很小,而且在七個月內既沒有擴大,也沒有縮小,儘管兩組的成功率都有所提高。在產生程式碼的會話中,我們數據集中十大職業中的每一個,在驗證成功方面都在軟體工程師的七個百分點之內。
管理職業在驗證成功方面最高,略高於軟體工程職業。他們更高的驗證成功率,可能反映了管理技能轉移到了指導智慧型代理上。但它們也可能部分反映了我們的衡量方式:驗證部分依賴於記錄中的明確確認,而管理者在得到他們要求的東西時,可能更有可能進行溝通。
圖6:按推斷職業劃分的編碼會話中的驗證和判定成功率
在添加或更改至少一行程式碼的會話中,按使用者推斷的職業群體劃分的,滿足嚴格成功定義——判定成功和驗證成功——的會話佔比,針對十大職業群體。每個群體都在軟體/數學使用者(SOC代碼為電腦和數學職業)的七個百分點之內。誤差條是按不同帳戶計算的95%信賴區間。
展望未來
本報告中的結果提供了一個初步的圖景,描繪了智慧型代理編碼如何放大某些形式的知識與技能,同時替代其他形式。在產生程式碼的會話中,每個主要職業的成功率,都在軟體相關職業的幾個百分點之內。編碼智慧型代理似乎正在讓編碼背景對於成功程式設計的相關性降低。
與此同時,成功的會話更可能展現出領域專業知識。被評為專家的會話達到驗證成功的頻率是新手會話的兩倍以上,而當會話遇到麻煩時,新手放棄會話的比率是其他人的數倍。協作的形態為這一圖景增添了更多色彩——領域專家能夠引導Claude用他們給出的每個指令完成更多工作。
因此,引導Claude走向成功的能力,更多來自於對領域的掌握,而不是編寫程式碼的能力。在任何領域具有這種掌握能力的人,現在可能能夠做他們以前無法做的技術工作。而沒有任何這類專業知識的人,從同一個工具中獲得的收益將少得多。而且,收益主要來自於能力,而非精通——對領域的工作掌握攫取了大部分的收益,而深度的專業化只是再增加了一點點。
這些發現是初步的。與我們大多數研究一樣,我們無法衡量真實世界的結果,例如會話中編寫的程式碼是否實際被使用或隨後被丟棄,或者它是否產生了經濟上有價值的產出物。
此外,本報告未涵蓋的非互動式使用,佔了活動的相當一大部分。為其開發衡量框架,是未來工作的優先事項。我們所有的會話分類都依賴於模型對記錄的閱讀。
在附錄中,我們展示了我們的分類器以預期的方向追蹤獨立的遙測數據,並在大多數會話上與強大的參考模型保持一致。但在大規模驗證方面,分類器仍然具有挑戰性,而Claude Code會話又增加了進一步的困難,因為它們可能太長、太複雜,無法讓人類標註作為真實標準。
本報告中的圖景將隨著模型、使用者以及他們之間分工的變化而更新。我們希望這些衡量指標將使我們能夠追蹤重大轉變的發生。例如,如果專業知識的回報隨時間開始減少,那將表明模型開始提供使用者目前帶來的、那種基本的判斷力,而這些工具的收益正在超越領域專家,向外擴大。
如果軟體職業之外的使用者成功完成的編碼會話佔比持續增長,這可能表明軟體生產正在成為每個領域中日常工作的一部分,而非單一職業的產物。
這些轉變將改變誰能從智慧型代理編碼中受益,以及受益多少,並對勞動力市場中最受重視的東西產生影響。