當大語言模型從簡單的文本問答進化到複雜的多步驟任務時，傳統的LLM-as-a-Judge（LLM作為裁判）評估方式正在暴露致命缺陷：單次推理容易產生偏見、無法驗證專業領域的正確性、面對多維度評估時認知過載。這篇來自香港理工大學等機構的綜述論文，首次系統梳理了Agent-as-a-Judge（Agent作為裁判）這一新興範式，揭示了AI評估從「被動觀察」走向「主動驗證」的演進路徑。
傳統LLM裁判的三大困境
論文指出，隨著生成式AI應用從簡單文本響應演變為跨專業領域的複雜多步驟任務，LLM-as-a-Judge的可靠性面臨根本性挑戰。
第一，固有參數偏見。單次評估器傾向於偏好冗長回答或自身輸出模式，在評估偏離訓練分布的高複雜度響應時，中立性受損。第二，被動觀察局限。樸素的LLM裁判無法對真實世界觀察做出反應，僅基於語言模式評估答案而不進行驗證，導致專業領域出現「幻覺式評估」。第三，認知過載問題。在需要多維度評估標準的任務中，傳統LLM裁判試圖在單次推理中全面評估所有維度，結果產生粗粒度分數，無法反映具體細微差別。
[圖1：LLM-as-a-Judge與Agent-as-a-Judge對比] 論文透過對比圖展示了兩種範式的核心差異：前者執行直接的單次評估，後者則利用規劃、記憶和工具增強能力實現增強評估。
Agent裁判的三重進化
論文從三個維度分析了從LLM-as-a-Judge到Agent-as-a-Judge的範式轉變。
魯棒性進化：從單體到去中心化。為緩解單體LLM裁判的固有參數偏見，Agent-as-a-Judge採用專門化的去中心化agent透過自主決策進行協作。這種去中心化架構便於注入專家先驗知識：透過將複雜評估目標分解為子任務或構建特定交互工作流，可以強制執行通用模型通常忽略的領域特定約束。多agent審議確保集體魯棒性，不同角色可以隔離特定資訊點以中和偏見。
驗證進化：從直覺到執行。靜態LLM裁判本質上是被動觀察者，無法對真實世界反饋做出反應。Agent-as-a-Judge透過用執行替代直覺來彌合這一現實差距。透過與外部環境交互，agentic裁判可以查詢系統狀態以驗證副作用、使用程式碼解釋器或定理證明器驗證邏輯一致性、使用搜尋工具將事實聲明錨定在即時文件中。
粒度進化：從全局到細粒度。Agent-as-a-Judge透過將評估從單次推理轉變為自主的層次化推理來解決認知過載問題。agentic裁判可以動態選擇或創建任務特定的評估標準，自主規劃評估以獨立檢查評估對象的每個組成部分，利用記憶追蹤歷史推理狀態並將碎片化證據綜合為連貫判決。
三階段發展路線圖
論文將Agent-as-a-Judge的發展總結為三個漸進階段。
程序化階段（Procedural）：將單體推理解耦為預定義的agentic工作流，或在固定子agent之間進行結構化討論。這些系統透過協調的多agent交互實現複雜判斷，但受限於無法適應新評估場景的預定決策規則。
反應式階段（Reactive）：基於中間反饋路由執行路徑並呼叫外部工具或子agent，實現自適應決策。然而，這種反應性仍局限於固定決策空間內的條件路由，缺乏改進底層評估標準的自主性。
自進化階段（Self-Evolving）：代表該領域的前沿，特徵是高度自主性和在運行期間改進內部元件的能力——即時合成評估標準並用學到的經驗更新記憶。
[圖2：Agent-as-a-Judge分類體系] 論文構建了完整的分類體系，組織了方法論和應用領域，背景漸變展示了從程序化到反應式再到自進化的發展階段覆蓋範圍。
五大核心方法論
論文將Agent-as-a-Judge方法論歸納為五個維度。
多Agent協作包含兩種拓撲結構：集體共識（Collective Consensus）透過水平辯論機制利用代表不同視角的agent來抵消單LLM評估器的固有偏見；任務分解（Task Decomposition）採用「分而治之」策略，將不同子任務委託給專門化agent進行系統評估。
[圖3：多Agent協作範式] 論文展示了集體共識和任務分解兩種協作拓撲的具體實現方式。
規劃能力體現在兩個方面：工作流編排從靜態分解演進到動態多輪規劃；評估標準發現則讓裁判agent能夠自主制定和改進評估標準，這是自進化階段的標誌性能力。
工具集成是Agent-as-a-Judge的定義性能力。論文將其分為證據收集（如程式碼執行反饋、視覺模型訊號）和正確性驗證（如定理證明器、搜尋引擎、Python解釋器）兩類用途。
[表1：代表性Agent-as-a-Judge方法中的工具集成] 論文按主要工具用途對代表性方法進行了分類，涵蓋Agent-as-a-Judge、HERMES、VerifiAgent、Agentic RM等系統。
記憶與個性化支援多步推理和一致性判斷：中間狀態記憶保留評估過程中生成的中間狀態，為反應式Agent-as-a-Judge提供條件路由的必要上下文；個性化上下文記憶則保留用戶相關資訊以在交互中調節評估。
優化範式分為訓練時優化（透過監督微調和強化學習更新模型參數）和推理時優化（透過提示、工作流或agent交互控制判斷生成方式）。
廣泛的應用領域
[圖4：Agent-as-a-Judge應用領域概覽] 論文展示了通用領域和專業領域的細粒度任務類別。
在通用領域，Agent-as-a-Judge已應用於數學與程式碼評估（如HERMES透過形式化證明步驟錨定推理）、事實查核（如FACT-AUDIT將事實查核建模為多agent協作的agentic循環）、對話與交互評估、以及多模態與視覺評估。
在專業領域，論文梳理了醫學（如MAJ-Eval構建多評估者角色進行辯論和交叉驗證）、法律（如AgentsCourt引入對抗辯論框架）、金融（如FinResearchBench從報告中提取邏輯樹作為中間結構）和教育（如Grade-Like-Human將評分分解為階段化流程）等領域的應用。
挑戰與未來方向
論文指出Agent-as-a-Judge面臨四大挑戰：計算成本（訓練和推理都更昂貴）、延遲（順序推理步驟和外部工具呼叫引入額外延遲）、安全性（工具增強裁判可能訪問外部系統，擴大攻擊面）、隱私（持久記憶或個性化評估可能增加敏感資料洩露風險）。
未來方向包括：個性化（主動管理用戶特定知識的生命週期）、泛化（動態發現和適應評估標準）、交互性（從被動觀察者進化為主動與環境和人類利益相關者互動的評估者）、優化（從推理時工程轉向基於訓練的優化）。
論文的核心洞見在於：下一代裁判agent必須超越固定協議，成為真正具有自主性的實體，能夠自我導向適應、主動上下文管理和持續自我改進，最終實現與被評估模型共同感知、推理和進化的全部潛力。
論文標題：A Survey on Agent-as-a-Judge