人類撰寫的 agent skill 往往以外部說明書的形式留在推理脈絡裡。SkillGym 把這些流程改造成可執行、可檢查結果的任務環境，再從通過檢查的長軌跡中訓練模型。論文在 Claude Code 下比較同一個 Qwen3.5-35B-A3B 骨幹：SkillsBench v1.1 有 skill 條件的成功率從 23.34% 升到 51.47%，這是增加 28.13 個百分點的同骨幹對照。
【圖2：SkillGym 建構框架概覽】人類編寫的 skill 先被歸入分類並轉換成任務模板；模板實例化為帶有輸入、限制條件和程式碼檢查器的 Docker 環境，隨後經過可行性、結構、執行和 skill 依賴檢查，再由多種執行框架與模型取樣出成功軌跡。
圖2
2,756 個可驗證環境把 skill 描述變成執行監督
SkillGym 不直接讓模型複述 skill 文字。它為不同子類設計任務模板，把說明書、檔案、依賴和驗收條件拼成環境；一次執行只有通過程式碼檢查器才算成功。論文用「有目標 skill 能通過、拿掉該 skill 後失敗」的對照，篩出真正依賴 skill 的任務，也保留了能通過驗證但未滿足這項對照的任務。
最終資源包含 2,756 個環境、12 個大類和 63 個小類。研究團隊從多種模型與執行框架收集到 8,364 條成功軌跡，平均每條有 49 次工具呼叫、63.4k 個記錄在日誌中的文字 token 和 35.2 個互動步驟，最長達到 318 步。論文用這些軌跡對 Qwen3.5-35B-A3B 做長上下文監督微調；環境和檢查器也可用於依結果獎勵的強化學習，但本文主要結果來自監督微調。
【表4：與基礎模型比較的通用 agent 基準表現】括號中的彩色數值表示相對同一執行框架下 Qwen3.5-35B-A3B 基礎模型的絕對提升；GDPval-AA v2 報告 Elo，其他三項報告成功率。
表4
Claude Code 的四項同骨幹對照都上升
在 Claude Code 下，GDPval-AA v2 從 974 提升到 1,173 Elo，增加 199 Elo；Terminal-Bench 2.1 從 39.33% 提升到 58.43%，增加 19.10 個百分點。SkillsBench v1.1 有 skill 時從 23.34% 提升到 51.47%，沒有 skill 時從 12.13% 提升到 26.81%，分別增加 28.13 和 14.68 個百分點。
Codex 下同樣有改善：Terminal-Bench 2.1 從 10.11% 提升到 46.07%，增加 35.96 個百分點；SkillsBench 有 skill 與無 skill 分別從 5.33% 升到 33.02%、從 0.69% 升到 21.08%。這兩組結果的意義不同：Claude Code 的基礎模型和微調模型使用相同標準系統提示；Codex 的微調模型改用 no-applypatch 系統提示，論文明確說明這項差異不能只歸因於微調。把有無 skill 分開來看，Claude Code 的微調模型無 skill 時為 26.81%，高於基礎模型有 skill 時的 23.34%；Codex 的對應數字是 21.08% 對 5.33%。這支持較狹窄的解釋：通過驗證的軌跡讓模型學到了一部分可重用流程。繼續提供 skill 後成績又到 51.47% 與 33.02%，說明外部說明、限制條件和權重中的流程經驗在這套評測裡可以疊加，但模型仍需要這些外部條件。
【圖1：通用 agent 基準上的表現】圖中同時展示同規模基線和公開參考模型。左側的 Qwen3.5-35B-A3B 基礎模型與 SkillGym-Agent 是同骨幹結果；右側公開參考分數來自各模型原始發布時的評測設定。
圖1
公開參考分數只能當作位置參照。論文的附錄指出，不同模型的 GDPval、Terminal-Bench 和 SkillsBench 結果可能使用不同的執行框架、推理預算、執行環境和系統提示；例如不少 SkillsBench 公開結果使用 OpenHands，Gemini 3.1 Pro 使用 Gemini CLI。51.47% 高於圖中列出的 Claude Sonnet 4.6 的 47.2%、GPT-5.4 Mini 的 41.4% 和 DeepSeek V4 Pro Preview 的 50.1%，但這些列不構成嚴格控制的橫向勝負。
這組資料支持 skill 衍生監督在特定評測中可遷移。在論文的 Qwen3.5-35B-A3B、Claude Code 和 SkillsBench v1.1 設定下，SkillGym 的驗證軌跡把有 skill 成功率從 23.34% 提升到 51.47%，無 skill 成功率也從 12.13% 提升到 26.81%。結合 Terminal-Bench 和 GDPval-AA 的同骨幹結果，論文支持「可執行 skill 的成功軌跡能提供跨任務的流程監督」這一結論。
部署或重現時還要另外檢查三件事：任務是否真的依賴目標 skill、檢查器是否涵蓋關鍵業務風險、執行框架和系統提示是否與對照一致。SkillGym 的 2,756 個環境中，1,081 個滿足 skill 依賴的對照判定，其餘 1,675 個是可驗證的保底任務；軌跡取樣總體成功率為 17.4%。這些條件說明資料品質和評測口徑會直接影響結果，不能把 51.47% 外推為所有 agent 工作流程的穩定收益。
📄 原文標題
SkillGym: Internalizing Large-Scale Human Skills into LLMs for Real-World Problem Solving
🔗 原文連結