人間が書いたエージェントスキルは、しばしば外部マニュアルの形で推論コンテキストに残る。SkillGym はこれらの手順を、実行可能で結果を検証できるタスク環境へと作り替え、検証に合格した長い軌跡からモデルを訓練する。論文では Claude Code 下で同一の Qwen3.5-35B-A3B バックボーンを比較し、SkillsBench v1.1 のスキル条件ありの成功率が 23.34% から 51.47% に上昇した。これは同一バックボーン対照で 28.13 ポイントの増加である。
[図2：SkillGym の構築フレームワーク概要] 人間が書いたスキルはまず分類に割り当てられ、タスクテンプレートに変換される。テンプレートは入力、制約、コードチェッカーを備えた Docker 環境としてインスタンス化され、その後、実行可能性、構造、実行、スキル依存性の検査を経て、複数の実行フレームワークとモデルによって成功軌跡がサンプリングされる。
図2
2,756 の検証可能環境がスキル記述を実行監督に変える
SkillGym はモデルにスキルテキストをそのまま復唱させるのではない。異なるサブクラス向けにタスクテンプレートを設計し、マニュアル、ファイル、依存関係、受け入れ条件を組み合わせて環境を作る。1 回の実行はコードチェッカーに合格した場合にのみ成功とみなされる。論文では「目的のスキルがあれば合格し、そのスキルを外すと失敗する」という対照を用いて、本当にスキルに依存するタスクを選別し、検証には合格するがこの対照を満たさないタスクも保持した。
最終的なリソースには 2,756 個の環境、12 の大分類、63 の小分類が含まれる。研究チームは複数のモデルと実行フレームワークから 8,364 件の成功軌跡を収集した。平均して各軌跡には 49 回のツール呼び出し、ログに記録された 63.4k テキストトークン、35.2 のやり取りステップがあり、最長は 318 ステップに達した。論文ではこれらの軌跡を用いて Qwen3.5-35B-A3B に長コンテキストの教師あり微調整を施した。環境とチェッカーは結果に基づく報酬の強化学習にも利用できるが、本稿の主結果は教師あり微調整から得られたものである。
[表4：基礎モデルとの比較における汎用エージェントベンチマーク性能] 括弧内の色付き数値は、同一実行フレームワーク下での Qwen3.5-35B-A3B 基礎モデルに対する絶対的向上を示す。GDPval-AA v2 は Elo を報告し、他の 3 項目は成功率を報告する。
表4
Claude Code における 4 項目の同一バックボーン対照はいずれも上昇
Claude Code 下では、GDPval-AA v2 が 974 から 1,173 Elo に上昇し、199 Elo 増加した。Terminal-Bench 2.1 は 39.33% から 58.43% に上昇し、19.10 ポイント増加した。SkillsBench v1.1 はスキルありの場合 23.34% から 51.47%、スキルなしの場合 12.13% から 26.81% に上昇し、それぞれ 28.13 ポイントと 14.68 ポイント増加した。
Codex 下でも同様の改善がある。Terminal-Bench 2.1 は 10.11% から 46.07% に上昇し、35.96 ポイント増加した。SkillsBench はスキルありとなしで、それぞれ 5.33% から 33.02%、0.69% から 21.08% に上昇した。これら 2 組の結果の意味は異なる。Claude Code の基礎モデルと微調整モデルは同じ標準システムプロンプトを使用する。Codex の微調整モデルは no-applypatch システムプロンプトに変更されており、論文はこの差異を微調整だけに帰属させることはできないと明言している。スキルの有無で分けると、Claude Code の微調整モデルはスキルなしで 26.81% となり、基礎モデルのスキルあり 23.34% を上回る。Codex の対応する数字は 21.08% 対 5.33% である。これはより狭い解釈を支持する。検証に合格した軌跡によって、モデルは一部の再利用可能な手順を学んだのである。さらにスキルを提供すると成績は再び 51.47% と 33.02% に達する。これは外部の説明、制約、重みの中の手順経験がこの評価セットでは積み重ね可能であることを示すが、モデルは依然としてこれらの外部条件を必要とする。
[図1：汎用エージェントベンチマークでの性能] 図には同規模のベースラインと公開参考モデルを同時に示す。左側の Qwen3.5-35B-A3B 基礎モデルと SkillGym-Agent は同一バックボーンの結果である。右側の公開参考スコアは、各モデルの元の公開時の評価設定に由来する。
図1
公開参考スコアは位置参照にすぎない。論文の付録は、異なるモデルの GDPval、Terminal-Bench、SkillsBench の結果が異なる実行フレームワーク、推論予算、実行環境、システムプロンプトを使用している可能性があると指摘する。たとえば、少なくない SkillsBench 公開結果は OpenHands を使用し、Gemini 3.1 Pro は Gemini CLI を使用している。51.47% は図に記載された Claude Sonnet 4.6 の 47.2%、GPT-5.4 Mini の 41.4%、DeepSeek V4 Pro Preview の 50.1% より高いが、これらの行は厳密に統制された横並びの勝敗を構成しない。
このデータ群は、スキル由来の監督が特定の評価において移転可能であることを支持する。論文の Qwen3.5-35B-A3B、Claude Code、SkillsBench v1.1 の設定では、SkillGym の検証済み軌跡がスキルあり成功率を 23.34% から 51.47% へ、スキルなし成功率も 12.13% から 26.81% へ引き上げた。Terminal-Bench と GDPval-AA の同一バックボーン結果を合わせると、論文は「実行可能なスキルの成功軌跡がタスク横断的な手順監督を提供できる」という結論を支持する。
導入や再現時には、別途 3 点を確認する必要がある。タスクが本当に目的のスキルに依存しているか、チェッカーが重要な業務リスクを網羅しているか、実行フレームワークとシステムプロンプトが対照と一致しているかである。SkillGym の 2,756 個の環境のうち、1,081 個がスキル依存の対照判定を満たし、残りの 1,675 個は検証可能な最低限のタスクである。軌跡サンプリングの全体成功率は 17.4% だった。これらの条件は、データ品質と評価基準が結果に直接影響することを示しており、51.47% をすべてのエージェントワークフローにおける安定した利益として外挿することはできない。
📄 原文タイトル
SkillGym: Internalizing Large-Scale Human Skills into LLMs for Real-World Problem Solving
🔗 原文リンク