Claude Code 更新了，這次帶來重磅功能：Computer Use。
簡單來說，Claude 現在能在終端機指令列中，直接開啟你 Mac 上的應用程式、點擊按鈕、擷取螢幕畫面、操作介面，並將執行結果即時回饋。
撰寫程式、編譯建置、啟動應用、點擊測試、偵測錯誤、修正代碼、驗證成效，整個流程僅需在同一個終端機對話中即可全部完成。
【01 先看效果】
官方示範影片中展示了一個完整情境。
使用者在 Claude Code 中開啟名為 SPM3000 的像素繪圖編輯器專案，隨後輸入指令：
「「 回饋頻道回報 Gen 按鈕渲染至一半便因 ERR 19 中斷。請開啟 SPM3000 重現此問題、進行修復，並產出新版建置檔案。」」
Claude 首先執行 git status 指令檢視 Xcode 專案架構，接著直接啟動 SPM3000 應用程式。
【02 自己動手操作】
接下來，Claude 展現了令人驚艷的執行力。
終端機顯示提示：「我將啟用 Computer Use 功能，協助您進行介面操作。」
隨後透過 /mcp 指令啟用 Computer Use，取得點擊、鍵盤輸入與螢幕截圖權限。
它開啟 SPM3000 應用，點擊坐標 (412, 580) 的 GEN 按鈕。
畫面上出現像素繪圖動物，但渲染一半便停滯。底部顯示：ERR 19，ROW 16/32，BUFFER OVERRUN。
Claude 迅速擷取一張螢幕畫面，儲存至 /tmp/gen-before.png，確認問題癥結：渲染作業於第 16 列中斷。
【03 找到程式錯誤】
確認錯誤後，Claude 切換回它最擅長的領域：程式碼分析。
它使用 grep 指令搜尋 ERR 19|rowIndex，在 Sources/GenViewModel.swift 檔案的第 47 行與第 52 行鎖定相關程式碼。
接著讀取 renderSprite() 函式，找出問題出在調色盤邏輯：當 palette 為空值時，函式直接回傳 .err(19)，導致渲染流程中斷。
修復方案十分直覺：將原本的 guard let palette else { return .err(19) } 修改為 fallback 至 lastGoodPalette，避免僅因調色盤暫空就完全中止渲染作業。
【04 一次驗證】
修改完程式碼，Claude 執行 xcodebuild -scheme SPM3000 -configuration Debug build 指令。
顯示建置成功。
隨後它再次開啟 SPM3000，重新點擊一次 GEN 按鈕。
這一次，32 列全部順利渲染完畢，像素動物完整呈現於畫面上，配戴著墨鏡，動畫也持續循環播放。
Claude 回覆：
「「 完整渲染完成，32 列全數通過，墨鏡動畫循環播放。修復已生效。需要我產出建置檔案嗎？」」
使用者回覆一字：好。
從接收錯誤回報到修復驗證完成，整個過程耗時僅約兩分鐘。
【05 使用範圍】
目前 Computer Use 以研究預覽版形式提供，僅支援 macOS 平台，且需具備 Pro 或 Max 訂閱方案。
開啟步驟如下：
• 於 Claude Code 對話中輸入 /mcp
• 找到 computer-use 項目，選擇啟用
• 首次使用時 macOS 會要求授予兩項權限：輔助使用（允許 Claude 點擊、輸入、捲動）與螢幕錄製（允許 Claude 讀取畫面內容）
完成授權後，直接告知 Claude 您希望它執行的操作即可。例如：
「「 編譯 MenuBarStats 並啟動它，開啟偏好設定視窗，驗證 interval 滑桿是否能正確更新標籤數值。」」
Claude 便會自動完成編譯、啟動、操作與截圖作業。
【06 並非所有情境皆適用】
Claude 在挑選工具時具備明確優先順序：
若您已設定 MCP 伺服器，將優先採用 MCP。若任務能透過 Shell 指令解決，則使用 Bash。若是瀏覽器操作且已安裝 Chrome 版 Claude，則調用瀏覽器介面。
僅當上述方式皆無法處理時，才會啟用 Computer Use。
此設計考量相當合理。
畢竟透過螢幕操控是效能最慢的途徑，能透過精確指令處理的任務，無需看著螢幕點擊滑鼠。Computer Use 主要保留給那些缺乏指令列介面、未提供 API、僅有圖形化操作介面的應用程式。
【07 能應用於何處？】
依官方文件與示範內容，目前主要涵蓋以下幾類情境：
原生應用程式驗證：修改 SwiftUI 程式碼後，交由 Claude 自動編譯、啟動、點擊測試各項介面元素，並擷圖確認。省去開發者手動開啟 App 檢視效果的步驟。
端到端 UI 測試：指定本地端的 Electron 應用程式要求測試註冊流程，Claude 會自行開啟應用、走完註冊流程，並針對每個步驟截圖。無須額外撰寫 Playwright 腳本或設定測試框架。
視覺化錯誤偵錯：告知 Claude 彈出視窗在小尺寸視窗下遭裁切，它會自動調整視窗大小重現問題、截圖、修正 CSS，並再次驗證成效。
控制純圖形介面工具：設計軟體、硬體控制面板、iOS 模擬器，以及各類未提供終端介面的專用軟體，如今皆可透過 Claude Code 進行操作。
【08 安全防護機制】
Anthropic 在資安層面已設置多項限制。
每項應用程式皆需於當前對話中逐一取得使用者授權。若 Claude 欲操作 Finder，系統將彈出提示告知此應用程式具備讀寫任意檔案權限，由您決定是否放行；若欲操作終端機，則提示等同於取得 Shell 存取權限。此類提醒確實應謹慎看待。
針對不同類型的應用程式，Claude 的控制權限亦有所區分：瀏覽器與交易平台僅具唯讀權限，不可操作；終端機與 IDE 僅允許點擊，禁止鍵盤輸入；僅其他一般應用程式才開放完整控制權。
Claude 執行作業時，會自動隱藏其他視窗，僅與已獲授權的應用程式互動。終端機視窗雖保持可見，但會被排除於截圖範圍之外，使 Claude 無法讀取自己的輸出訊息，進而有效防範提示詞注入風險。
隨時按下 Esc 鍵即可中止 Computer Use，立即收回系統控制權。
【09 與桌面版的差異】
Claude 桌面版其實已具備 Computer Use 功能。
指令列版的主要差異在於啟用方式（/mcp 指令相對於設定面板）、暫無拒絕應用程式清單的設定選項，以及強制啟用自動恢復隱藏視窗功能。
核心運算引擎則完全相同。
【10 長遠發展展望】
此項更新的關鍵意義，在於 AI 程式設計助手的感知邊界再度向外擴張。
過往的 Claude Code 僅能讀取與撰寫程式碼、執行終端指令，但本質上屬於盲操作，無法直接觀察程式碼執行後的實際呈現畫面。若僅修改一行 CSS，開發者仍須手動開啟瀏覽器檢視效果，再以文字描述回報給 Claude。
如今，它已具備視覺檢視能力。
撰寫程式碼與驗證程式碼的環節，就此整合為單一自動化流程。
對前端開發、行動應用程式開發及桌面軟體開發領域而言，這無疑是一項顯著變革。過去修改一行程式碼，手動驗證一次的循環，現在可交由 Claude 全自動執行。
目前仍屬研究預覽階段，僅支援 macOS 系統，且需升級至 Claude Code v2.1.85 或更新版本。
不支援 -p 非互動模式，亦不適用 Team 與 Enterprise 方案。
筆者目前已親自測試啟用：
◇ ◆ ◇
相關連結：