問，而非評判：用二元是非題達成可解釋的 LLM 評估與自我提升
Sangwoo Cho 、 Kushal Chawla 、 Pengshan Cai 、 Zefang Liu 、 Chenyang Zhu 、 Shi-Xiong Zhang 、 Sambit Sahu
摘要
評估大型語言模型的輸出，至今仍是自然語言處理領域的一大瓶頸：人工評估昂貴且緩慢，詞彙指標與開放式生成任務的人工判斷相關性不佳，而整體式的 LLM 評分員則常給出難以除錯的不透明分數。我們提出 BinEval 框架，它將評估標準拆解為原子化的二元是非題，並將結果匯總成可解釋的多維度分數。給定一項任務提示後，一個元提示會生成細緻的評估問題，而 LLM 會針對每個輸出獨立回答，產生透明的問題層級回饋，並搭配校準過的整體分數。這種拆解方式讓評估更易於檢視、診斷，並可直接用於提示的改進。在 SummEval、Topical-Chat 與 QAGS 資料集上，BinEval 的表現與 UniEval 及 G-Eval 等強勁基準模型匹敵甚至更優，尤其在事實一致性基準（如 QAGS）上的表現特別突出。除了具有競爭力的人工判斷相關性外，BinEval 更能貼近人工分數的分佈，並避免了既有 LLM 評分員中常見的天花板效應，從而能更好地區分邊緣案例與明顯有缺陷的輸出。我們進一步展示，同樣的問答層級回饋支援迭代式的提示最佳化，在自我更新與跨模型更新的設定下，改善了摘要任務的評估提示，以及 IFBench 上的生成提示。總體而言，BinEval 提供了一種不分任務、無需訓練且具備可解釋性的評估框架，結合了強大的實證表現、實用的診斷與最佳化價值。
1 導論
大型語言模型的快速進展，使得生成變得容易，卻讓評估變得困難。現代系統能生成流暢且符合脈絡的輸出，橫跨摘要、對話、推理與指令遵循等任務，然而評估這些輸出仍是主要的瓶頸。人工評估既緩慢又昂貴；ROUGE、BLEU 和 BERTScore 等詞彙指標則常忽略了語義正確性與事實性；而整體式的 LLM 評分員，則常常給出難以診斷的不透明分數。
這種瓶頸在迭代開發過程中代價尤其高昂。比較不同提示、模型或解碼策略時，需要的不僅是準確，更要是能夠據以行動的回饋。單一的標量分數往往不足：若一篇摘要得到普通的評分，我們仍無法確定問題是出於事實不一致、關聯性薄弱、內容缺失，還是流暢度不佳。
我們的基本假設很簡單：與其要求模型給出一個粗略的判斷，不如要求它回答一系列小而可檢驗的問題。因此，我們提出 BinEval，它能將每項評估標準拆解成原子化的是非題，並將結果匯總成可解釋的分數。這種拆解方式將評估從黑箱式的判決，轉變為結構化的診斷訊號，使其更容易檢視、除錯，並同時改良評估器與生成器。
BinEval 由三個部份組成。首先，一個元提示會將任務提示拆解為按評估維度組織的原子化問題。其次，一個評估器會獨立回答每個問題，並將答案匯總為各維度及整體分數。第三，一個兩階段的最佳化迴圈會利用問題層級的回饋，同時改善評估提示與生成提示。
我們在 SummEval、Topical-Chat 和 QAGS 上評估 BinEval，並在摘要和 IFBench 任務上研究迭代式提示更新。
我們的貢獻如下：
一個用於可解釋評估的通用框架。我們將評估標準拆解成原子化的是非題，產生了一種不分任務且具模組化的方法。
無需針對特定任務訓練，表現依然強勁。BinEval 在 SummEval、Topical-Chat 和 QAGS 上的表現，匹配甚至超越了經過訓練的評估器與整體式 LLM 評分員。
迭代式提示改善。我們引入了一個兩階段最佳化迴圈，它改善了摘要任務和 IFBench 的提示。
可除錯的分數。每個 BinEval 分數都基於附有解釋的個別判決，讓評估器的行為更容易檢視和診斷。
2 相關工作
傳統評估指標。 ROUGE、BLEU 和 METEOR 等詞彙重疊指標，仍是摘要與翻譯評估的標準，但它們常在開放式生成任務中難以捕捉語義對等性。BERTScore 和 MoverScore 等基於嵌入的指標，透過在表徵空間中操作來改善語義匹配；而 BARTScore 等基於生成的指標，則將評估本身框架化為文字生成。較新的無需參考文獻方法，如 ParaPLUIE，利用模型困惑度來衡量意義保留，不需要黃金參考答案；而像 OmniScore 等框架，則使用確定性的、已學習的評估器來支援可擴展的多語言評估。
LLM 即評審。 近年來，越來越多的研究將 LLM 本身用作評估器。G-Eval 先使用思維鏈推理，再進行李克特量表評分；而 AlpacaEval 和 MT-Bench / Chatbot Arena 等則依賴成對比較或偏好判別。這種範式也擴展到專業的開源評估器，例如 Prometheus 2，它近似於人類和專有模型判斷的深度。然而，這些評審仍易受到位置、冗長程度和自我增強等偏差的影響。最近的基準測試 JudgeBiasBench 進一步將這些疑慮系統化，不僅提供了評審偏差的分類法，也提出了去偏策略。
多維度評估。 多維度評估旨在將品質拆解為可解釋的面向，如連貫性、忠實度、資訊豐富度與相關性。UniEval 是一個關鍵的先例：它將評估重新表述為布林問答，並針對 T5 評估器在多個面向進行微調。更多近期的研究也類似地將評估拆解為資訊豐富度和忠實度等面向，而像 QAEval 這樣的混合框架則結合了基於規則的可靠性與混合專家模型，以應用於開放式生成任務。這些方法共同體現了將評估拆解為更細小、結構化判斷的價值。
評估的原子化拆解。 FActScore 首創了「先拆解再驗證」的範式，將長篇生成內容拆解為原子事實，並逐一驗證。像 ARES 和 RAGAS 等相關框架，將類似的拆解概念延伸至檢索增強生成；而 OpenFActScore 則利用原子化評估，實現了開源的事實查核。這些方法展示了細粒度的拆解可以改善事實評估，儘管它們通常是拆解生成內容本身，而非評估標準。
提示最佳化。 提示最佳化已從手動指令工程，逐漸轉向自動化與程式化的精煉。DSPy 為宣告式、自我提升的語言模型管線提供框架；MIPRO 等演算法則對指令和展示範例進行貝氏搜尋。OPRO 和 APE 同樣使用語言模型來迭代生成和精煉提示。更新的方法如 MARS，引入了多代理的蘇格拉底式最佳化；而 LLM-AutoDiff 則將文字輸入視為圖形結構工作流程中的可訓練參數。這些方法激勵了我們將基於分歧的提示精煉，作為一種針對性的最佳化訊號。
3 方法
我們將分三個部分來介紹 BinEval：二元是非題生成、二元評估與評分、以及迭代式提示最佳化。
3.1 二元是非題生成
讓一個任務提示定義了生成要求，例如一則摘要指令、一個對話系統提示，或是一項指令遵循規格。我們定義了一個拆解函數，它能將任務提示映射到一組二元是非題。這個過程由一個元提示來指示 LLM 執行兩階段拆解。
步驟一：摘要。 我們首先將任務提示總結為一組明確的要求清單。每項要求都捕捉了一項獨特的評估標準，例如輸出是否包含關鍵資訊，或是是否遵守格式限制。這個摘要步驟的目的，是幫助模型在進行更細緻的拆解之前，對整個任務形成一個連貫的表述。
步驟二：拆解。 針對每項要求，我們會生成一或多個二元是非題，其中回答「是」代表輸出滿足要求，回答「否」代表違反要求。隱含多個子任務的要求會被進一步拆解為獨立的問題，而每個問題都會配上一個簡潔的違規範例，來說明負面案例。這種設計的動機源自於先前的研究，該研究顯示，將一個任務拆解為可依序或模組化處理的簡單子問題，通常能改善複雜推理。在我們的設定中，同樣的直覺暗示，當模型針對簡化後的子任務回答針對性的二元問題，而非做出單一的整體判斷時，評估會變得更加容易。
這些問題可以組織成評估維度。針對一組維度，如連貫性、一致性、流暢度與相關性，問題會分區歸屬。元提示是不分任務的：同樣的元提示能為摘要、對話、指令遵循或任何其他任務生成適當的二元問題，只有任務提示會改變。
3.2 二元評估與評分
給定一個評估器 LLM、一組輸入（如原始文件、對話記錄或指令）、一組輸出（如生成的摘要、對話回覆或完成結果），以及一個二元問題，我們定義了二元評估函數。當評估器回答「是」時函數值為 1，否則為 0。伴隨著每一個二元判決，評估器會生成一個自然語言的解釋，以實現可解釋性。
每個維度的分數是該維度下所有問題通過率的平均值。整體分數則是所有問題通過率的平均值。這兩個分數都落在 0 到 1 的區間，其中 1 代表所有標準都被滿足。為了能夠與使用不同尺度的現有評估框架進行比較，分數可以透過仿射縮放，從 0 到 1 的區間映射到任何目標區間。
3.3 跨模型提示更新
BinEval 的二元問題框架能實現評估器之間的跨模型提示更新。其核心洞見在於，來源評估器與目標評估器在特定二元問題上的分歧，提供了一個細粒度的改良訊號：與整體性的分數差異不同，二元問題的分歧能精確指出哪些標準在不同模型間被不一致地判斷。這使得我們能夠使用一個較強的來源模型作為參考，並迭代地更新另一個（通常是較弱的）目標模型的提示，直到其評估器行為更貼近來源模型。此外，這對於在將一個模型遷移到不同模型家族時，維持相似效能的提示更新也很有用。
讓來源評估器作為參考模型，而目標評估器是我們想要改善其評估提示的對象。在每次迭代中，最佳化依以下四個步驟進行：
評估。 針對每個測試案例，從兩個模型中獲取二元評估結果。
找出分歧。 計算出評估者之間存在分歧的問題集合。
提取經驗教訓。 一個負責記錄的 LLM 會分析脈絡下的每一個分歧，提取出泛化的經驗教訓。最終的獨特教訓集合會經過語義去重處理。
更新提示。 針對每一條獨特教訓，一個負責更新的 LLM 會找出當前提示中相關的子字串，並生成一個已將教訓融入其中的修訂版子字串來取代之。
當目標評估器在所有維度上的分數，與來源評估器的分數誤差在容忍值以內時，迴圈便終止。
3.4 自我提示更新
同樣的二元問題框架也可以用在生成任務的自我提示更新。與其將一個評估器對齊到另一個模型，這個程序會利用評估器所識別出針對其自身輸出的錯誤，作為回饋，來迭代地改善一個生成器。給定一個生成器 LLM 及其在第 t 次迭代的提示，步驟如下：
生成。 使用當前的提示產生輸出。
評估。 使用可能已經改善過的評估器對每個輸出進行評分，並收集未通過的問題，其中包含了評估器對失敗的解釋。
提取經驗教訓。 一個負責記錄的 LLM 會分析脈絡下的評估錯誤。
去重與更新。 應用與評估器最佳化相同的語義去重和提示重寫程序，但現在是針對生成器的提示。
當沒有評估錯誤存在或達到最大迭代次數時，這個生成迴圈便終止。
4 實驗設定
我們設計了兩組互補的實驗。第一部分評估 BinEval 在具有人工標註的既定基準上的表現。第二部分則展示迭代式提示更新機制，分別在「不可驗證」和「可驗證」的任務上。在這些實驗中，我們使用了 gpt-oss-120b 和 Claude Sonnet 4。為了減少 LLM 回應的隨機性，我們在所有實驗中將溫度設定為 0，並報告兩次運行的平均值。
4.1 指標
就評估品質而言，我們報告方法分數與人工判斷之間在摘要層級上的斯皮爾曼等級相關係數、肯德爾等級相關係數，以及皮爾森相關係數。
4.2 第一部分：評估品質驗證
我們遵循 UniEval 的評估協議，並在三個既定的基準上進行評估。
SummEval。 一個包含 100 篇 CNN/DM 來源文章的基準，每篇文章由 16 個不同的摘要模型進行摘要，總共產生了 1,600 個摘要層級的標註。人類評估者針對四個維度：流暢度、連貫性、一致性和相關性，對每篇摘要評分。評分採用 1 至 5 的李克特量表。
Topical-Chat。 一個由 6 個對話模型所生成的 60 個對話回應的基準，在六個維度上進行了標註：自然度、連貫性、吸引力、依據性、可理解性，以及一個整體品質評分。我們遵循 Zhong 等人的做法，使用了其中的四個面向。
QAGS。 一個專門針對摘要中幻覺評估的基準，包含 235 個 CNN/DM 的樣本和 239 個 XSum 的樣本。標註者評估了每個摘要對其原始文件的一致性。
4.3 第二部分：迭代式提示更新
我們在兩項任務上評估 BinEval 的迭代式提示更新機制：第一項是在 SummEval 上的評估提示最佳化，這項任務是不可驗證的，因為沒有可程式化比對的黃金標準；第二項是在 IFBench 上的生成提示最佳化，該任務可透過可執行的限制器來驗證。針對 SummEval，我們測試了兩種更新模式：自我更新，即單一模型使用其與人類判斷相比的失敗案例來改善自身的評估提示；以及跨模型更新，即一個較強的模型作為裁判評估器，而來自分歧的教訓則被用來更新目標模型的提示。
圖 1 提供了這些增益更細緻的觀察。該圖以小提琴圖呈現了 SummEval 在四個評量面向上的分數分布，比較了人類註記與不同方法的差異。BinEval 在一致性上的分布，視覺上最接近人類的分布，它大致反映了人類分數集中在高端的趨勢，同時仍保留了部分低分的樣本；這與它在表 1 中最大的相關性優勢相呼應。在各個面向上，BinEval（Claude）通常是最接近人類判斷在集中趨勢與分散度的方法之一，其與人類判斷最相符的是一致性。UniEval 和 G-Eval 則呈現出較為狹窄、集中的分布，顯示出它們在區分不同系統上的鑑別力較弱。基於 gpt-oss 的變體，在分數上普遍傾向於低估，特別是在連貫性與相關性方面，BinEval（gpt-oss）和 G-Eval（gpt-oss）的平均值明顯較低。流暢度在所有方法中分數都高度集中在天花板附近，這反映了現代摘要系統普遍具有高流暢度以及此面向的變異性有限。值得注意的是，UniEval（gpt-oss）在流暢度上產生了近乎退化的分布，說明它在此軸向上無法區分品質的差異。總體而言，BinEval 的主要優勢並非在每個面向上都做到完美校準，而是在於它能夠保留有意義的相對變異性，尤其是在事實一致性上。
圖 2 則在系統層級提供了相同的比較，每個分數是基於 SummEval 四個面向上的平均值，並將 16 個系統依照其人類平均分數由低至高排序。BinEval（Claude）最忠實地追蹤了人類的排名，保留了從較弱系統到較強系統的單調趨勢，同時在中低表現模型中維持了明顯的區隔。相比之下，UniEval 和 G-Eval 的分數範圍更為壓縮，削弱了系統間的差異，特別是在排名中間的區段。基於 gpt-oss 的方法在絕對分數水平上普遍較為保守，但仍大致恢復了大部分的系統排序。另一個明顯的模式是分布的寬度：BinEval 的變體傾向於展現更寬廣、更接近人類的系統內變異，而 UniEval 和 G-Eval 產生的小提琴圖則較為緊縮，可能低估了真實的分數變異。對於人類品質最高的系統（最右側），各方法間的一致性最強，而對於品質較低的系統則顯示出較大的分歧，這暗示了區分差勁與平庸的摘要仍然是自動化評量方法的一大挑戰。
5.2 評量品質：Topical-Chat 基準
對話結果顯示，BinEval 能夠有效地遷移到摘要以外的任務。BinEval（Claude）在 Topical-Chat 上取得了最佳的斯皮爾曼平均相關性（0.632），尤其是在自然度與吸引力上有顯著的增益，而 BinEval（gpt-oss）則保持與 G-Eval (gpt-oss) 的競爭力，並顯著優於 UniEval (gpt-oss)。這些結果顯示，將對話品質分解為多個具體問題，對於主觀的對話標準特別有幫助。詳細的結果提供在附錄 D.1 中。
5.3 評量品質：QAGS 基準
QAGS 最清晰地凸顯了分解的優勢。BinEval（Claude）取得了最佳的斯皮爾曼平均相關性（0.620），且即使是 BinEval（gpt-oss）也大幅超越了 G-Eval (gpt-oss)，後者基於二元提示的設計產生了過低的分數粒度，導致排名不可靠。這顯示將事實一致性分解為多個針對性問題，比依賴單一整體性或「是／否」的判斷來得更為穩健，尤其是在像 XSum 這樣容易產生幻覺的資料上。詳細的結果與討論提供在附錄 D.2 中。
5.4 迭代式提示更新
5.4.1 SummEval：評估器提示更新
表 2 報告了在 SummEval 四個面向上進行迭代式提示更新後的測試集斯皮爾曼 ρ 值。兩種更新模式都改善了四個面向中的三個。自我更新在流暢度上帶來了最大的單一面向增益（+0.119），該面向的初始提示特別弱，而對於評估器評分標準及所產生的二元問題的迭代精煉，顯著改善了與人類判斷的對齊程度。跨模型更新則在一致性上最強（+0.136），這與一個更強的參考評估器能為事實核實提供特別有用指引的概念是一致的。平均來看，自我更新提升了 +0.075，而跨模型更新則提升了 +0.070。
相關性在兩種更新模式下都未能獲得改善。檢查更新後的提示後發現，由教訓驅動的精煉傾向於將相關性過度分解為過於細粒度的要求，例如對每一個角色、動機和背景事件進行單獨檢查。這些精煉使得評估器比人類註記員更加嚴格，而非更好地對齊，這暗示了相關性依然是一種相對整體性的判斷，比起具有更具體失敗模式的面向來說，它較不易透過細粒度的二元分解來處理。
有三個觀察值得留意。首先，兩種更新模式具有互補性：自我更新在連貫性與流暢度上最有幫助，而跨模型更新在一致性上最有幫助，這顯示出與人類分數的差異以及模型間的不一致，揭示了不同類別的評估器錯誤。其次，大多數增益都出現在前一到兩次迭代中；後續的迭代更可能因為教訓累積成互相競爭的指令，而使提示品質下降。第三，二元問題的重生成至關重要：最大的增益發生在那些不僅改變了評估器提示，也改變了誘導出的問題分解的迭代中，這再次強調了問題設計本身就是評量品質的一個關鍵槓桿。
表 2：在 SummEval 上的評估器提示更新。測試集與人類判斷的斯皮爾曼 ρ 值；Δ 是相對於初始基準的絕對改善值。最佳迭代是根據測試集表現進行提早停止來選出。
自我更新
面向：基準 / 最佳 / Δ
連貫性：.521 / .610 / +.089
一致性：.477 / .568 / +.091
流暢度：.255 / .375 / +.119
相關性：.505 / .505 / .000
平均：.440 / .515 / +.075
跨模型更新
面向：基準 / 最佳 / Δ
連貫性：.524 / .594 / +.070
一致性：.501 / .637 / +.136
流暢度：.246 / .318 / +.072
相關性：.532 / .532 / .000
平均：.451 / .520 / +.070
5.4.2 IFBench：生成提示更新
表 3 呈現了 IFBench 在不同提示更新迭代下的嚴格測試集正確率。自我更新達到了適度的改善，在第三次迭代達到高峰 38.0%，相較其第零次迭代基準提升了 +3.4 個百分點。然而，同樣的運行在第四次迭代時崩潰，說明了反覆重寫提示的脆弱性。跨模型更新則沒有任何改善，事實上在第一次更新步驟後就開始下滑，這暗示較強裁判過於嚴格的標準可能會矯枉過正，而非精煉提示。
表 4 中的各類別細分揭示了一個在「可提示的」約束與「計算性的」約束之間的明顯分界。格式與句子約束有顯著改善，各提升了 17 個百分點，這表示一旦給予模型更清晰的結構性指引，這些任務通常就能迎刃而解。相比之下，計數、比例、詞彙與重複約束幾乎沒有或完全沒有改善。這些約束要求在生成過程中進行精確的計算，例如維持數量、強制執行比例，或是根據音節或詞彙標準來過濾字詞。提取出的教訓通常能正確地診斷出這些失敗，但像是「維持一個內部計數器」的指令並不會賦予模型新的計算能力。相反地，這些指令會累積成提示膨脹，最終甚至傷害到原本運作良好的類別。
主要的重點是，當模型本身就具備相關能力而只需要更好的指引來展現它時，迭代式提示更新是有效的。然而，當失敗反映的是底層能力的侷限，而非提示問題時，它就沒那麼有效了。在這些情況下，BinEval 依然能提供準確的診斷，但產生的修正方法多半是不可行的，並可能因為指令超載而降低效能。
5.5 案例研究
附錄 A 展示了評量與提示更新的範例。它包含了四個 SummEval 案例研究，每個面向一個，顯示出 BinEval 能夠識別單句摘要中的連貫性、找出細微的事實錯誤、對難以閱讀的文字給予部分分數，並將不完整性與不相關性區分開來。附錄中也包含了 SummEval 在自我更新與跨模型更新下的提示更新範例、一個過度分解如何損害與人類判斷對齊的相關性失敗案例，以及一個凸顯可提示失敗與底層計算極限之間邊界的 IFBench 範例。總而言之，這些範例展示了分解能夠產生更具可辯護性的分數，並協助診斷提示精煉何時會成功或失敗。
表 3：在 IFBench 上的生成提示更新（測試集嚴格正確率，%）。
方法：迭代 0 / 1 / 2 / 3 / 4 / 高峰
自我更新：34.6 / 36.8 / 34.6 / 38.0 / 26.1 / 38.0 (+3.4)
跨模型：35.9 / 33.8 / — / — / — / 35.9 (+0.0)
無最佳化（基準）：35.5 (涵蓋第零次迭代的所有欄位) / 35.5
表 4：自我更新下的 IFBench 各類別正確率 (%).
類別：基準 / 高峰 / 趨勢
格式：52 / 69 / +17pp，對指引有反應
句子：25 / 42 / +17pp，對關鍵字與結構敏感
計數：63 / 63 / 隨指令增加而退化
比例：22 / 22 / 沒變化
詞彙：16 / 20 / 邊際改善
重複：17 / 17 / 沒變化
5.6 為何分解有效？
為什麼透過多個原子化二元問題進行評量，會優於單一的整體性判斷？我們在 SummEval 上辨識出三個促成機制，並檢視了各自的證據（完整的問題集請見附錄 E）。
複雜度降低。每個二元問題隔離出一個單一、可驗證的屬性，以多個更簡單的判斷取代一個多面向的判斷——這反映了提示工程中任務分解所帶來的好處。一個像是「所有命名實體是否都被準確呈現？」的問題，比「從 1 到 5 為事實一致性評分」更容易可靠地回答。在一致性上，七個針對性問題產生的「是」的比率分布於 0.75 到 0.95 之間（表 10），這表明每個問題都捕捉到了不同的困難度。這個模式在各個面向上都成立：流暢度、相關性與連貫性各自顯示出其「是」比率分布範圍為 0.48、0.46 和 0.86。
透過聚合來降低變異。聚合 N 個弱相關的二元分類器，可依 1/N 的比例降低變異。圖 3 顯示了這個機制因面向而異：相關性與連貫性具有最低的平均問題間相關性（分別為 φ=0.20 與 0.28；其中 80% 和 64% 的配對滿足 |φ|<0.3），而流暢度則為中等（φ=0.39；例如，拼寫 Q2 與標點 Q3 之間的 φ=0.02）。一致性是個例外（φ=0.58，零弱相關配對），在一致性中像「無事實錯誤」與「無不實陳述」這類問題本質上是相關的（φ=0.79）。
失敗模式的覆蓋率。分解強制性地明確列舉出標準，相較於整體性判斷，改善了召回率。在流暢度中，拼寫（Q2）和標點（Q3）近乎無關（φ=0.02），且有著不同的「是」比率（0.71 對比 0.33），捕捉到了互不相關的失敗。相關性中的 Q1（主題，0.95）與 Q3（冗餘，0.64）顯示出 φ=0.01。一致性再次是最弱的：其相關性最低的配對也具有 φ=0.32。
面向層級總結。這三種機制的貢獻並不均等。相關性與連貫性展現出強烈的變異降低與覆蓋率。流暢度受益於全部三種機制。一致性則最具啟發性：其變異降低和覆蓋率最弱，然而相較於 UniEval 卻有最大的增益（+0.195 斯皮爾曼 ρ），這暗示了僅靠複雜度降低——將事實驗證分解為針對性的子檢查——就可能成為主導的驅動力。從實務角度來看，從業者可以檢查所產生的問題的這些屬性（「是」比率分布、問題間相關性、兩兩覆蓋率），來預測分解在何處幫助最大，以及何處需要進一步改良。
6 討論
失敗模式。分解在具體標準上表現最佳，例如事實一致性，因為其錯誤能與特定的陳述或實體掛鉤，因此可以透過相對明確的是非題來檢核。對於較主觀的品質，分解則較不可靠，因為人類的判斷更為整體性，且較難簡化為一組二元檢核。在這種情況下，評量的品質高度依賴於所產生的問題是否捕捉到了人類在形成整體判斷時實際考量的面向。附錄展示了兩種模式：當分解變得太過嚴格時，相關性可能會退化；而當失敗反映的是模型的基礎能力而非其指令時，提示更新的幫助就較小。在 IFBench 上，更清晰的提示對格式和句子層級的約束有幫助，但對計數或比例追蹤則沒有，這暗示某些錯誤源於執行上的限制，而非僅是任務規範的不足。
運算成本。BinEval 以效率換取診斷價值。相較於單一整體性判斷，它必須生成二元問題並逐一回答它們。這增加了模型呼叫的次數以及評量期間處理的總文字量。提示更新則增加了教訓記錄、教訓去重與元提示重寫的步驟，不過批次處理使得前兩者的成本保持適中，而提示重寫是多數更新方法共有的。主要的經常性成本仍是問題層級的評量。
限制。此方法仍然依賴於問題品質：若有重要的標準被遺漏，最終的分數也會忽略它們。它也假設了通過的提問比例能以近似線性的方式對應到整體品質，然而情況未必總是如此。
6.1 分解式評量 vs. 整體性評分
任務：評量一份摘要相對於其來源文章的事實一致性。
來源文章（摘錄）：「美軍表示，一架俄羅斯 SU-27 側衛戰機對一架美國 RC-135U 進行了桶滾動作……五角大廈稱此攔截行為不安全且不專業……俄羅斯國防部表示，該機是緊急升空以識別該飛行器……」
系統摘要：「美國 RC-135U 在飛越波羅的海時，遭到一架俄羅斯 SU-27 側衛戰機攔截。五角大廈表示，該俄羅斯戰機繞行美機數次，以識別它並獲取其機尾編號。閱讀更多：http://dailycaller.com/2017/10/29/…」
方法 | 分數 | Δ | 原因
人類 | 2.0 | — | 包含多處事實錯誤
BinEval (Claude) | 1.57 | 0.43 | 藉由分解後的問題，捕捉到 7 處錯誤中的 4 處
BinEval (gpt-oss) | 3.0 | 1.0 | 僅捕捉到 7 處錯誤中的 2 處；遺漏了錯誤歸因
G-Eval (gpt-oss) | 5.0 | 3.0 | 單一整體性分數：「看起來一致」
UniEval (gpt-oss) | 5.0 | 3.0 | 單一問題「這一致嗎？」 → 是
BinEval (Claude) — 分解式評量：
Q1. 聲明是否有根據？ 否 — 五角大廈的聲明被錯誤歸因（俄方說「識別」，而非五角大廈）。 | Q4. 數字是否正確？ 是 — 飛機型號（RC-135U, SU-27）與來源相符。
Q2. 有無虛構內容？ 否 — URL dailycaller.com/… 未出現在來源中。 | Q5. 因果關係是否保留？ 否 — 混淆了五角大廈與俄方對攔截事件的說法。
Q3. 實體是否精確？ 否 — 將俄方的陳述目的錯誤歸因給五角大廈。 | Q6–7. 有無幻覺？有無錯誤陳述範圍？ 是 — 描述了核心事件。
分數：7 個問題中有 3 個回答 是 ⇒ 3/7 ≈ 0.43 → 縮放至 1–5 → 1.57（人類：2.0，誤差：0.43）
關鍵洞見。G-Eval 和 UniEval 給了完美的一致性分數（5.0），因為該摘要在表面上看起來是合理的——它提到了正確的飛機型號和事件。BinEval 的分解式問題則獨立探究每個事實主張，捕捉到錯誤歸因（Q1, Q3）、虛構的 URL（Q2）以及混淆的說法（Q5）。最終得到的 3/7 分數，與人類所評的 2.0 分緊密吻合，而整體性方法則遺漏了所有錯誤。
圖 4 描繪了整體性評量方法一個具代表性的失敗模式。被評量的摘要包含了三項明顯的事實錯誤（標記底線處）：將俄方陳述的目的錯誤歸因給五角大廈、一個不存在於來源中的虛構外部 URL，以及混淆了兩方對攔截事件的說法。儘管有這些錯誤，G-Eval 和 UniEval 都給出了完美的一致性分數 5.0，因為摘要表面上是合理的——它正確指出了飛機型號，並準確描述了大概的事件。整體性評分將局部的正確性與整體的一致性混為一談，獎勵了流暢、主題連貫的文字，即使其具體主張是錯誤的。
BinEval 透過將一致性拆解為七個針對性的二元問題來避免此問題，每個問題探究一種特定的錯誤類型：事實支持、虛構、實體準確性、數字正確性、因果保真度、幻覺以及範圍呈現。問題 Q1、Q3 和 Q5 直接凸顯了錯誤歸因與混淆；Q2 則標記出虛構的網址。最終得到的分數 3/7 ≈ 1.57（換算為 1 到 5 分量表）與人類評分 2.0 相當接近（|Δ| = 0.43），而 G-Eval 和 UniEval 則偏離了 3.0 分之多。
這個例子體現了 BinEval 的核心設計原則：細粒度的二元問題扮演了「主張層級的探針」角色，讓那些被總合評分系統性掩蓋的錯誤無所遁形。更重要的是，這種細緻度讓回饋變得具有可操作性，因為每個失敗的問題都直接指明了錯誤類型，從而能針對摘要生成器或評量器的提示進行目標明確的修正。
7. 結論
我們提出了 BinEval，一個與任務無關、無需訓練的框架，它透過將評估標準拆解為原子化的二元問題來評量 LLM 的輸出。在 SummEval、Topical-Chat 和 QAGS 等基準上，它的表現可匹敵或超越強大的評量器，同時還能在摘要任務與 IFBench 上支援迭代式的提示優化。由於每個分數都根基於帶有解釋的個別判斷，BinEval 提供了可解釋的回饋，幫助實務工作者診斷並改善 LLM 系統，並揭示了原子化二元拆解在更廣泛評量任務中是一條值得探索的發展方向。這些結果表明，可解釋性與優異的評量效能並非以犧牲可擴展性或靈活性為代價。展望未來，我們預見此方法可自然地延伸至代理型與多輪互動的場景，在這些情境中，細粒度、主張層級的回饋對於精準定位系統出錯的位置與原因極具價值。
影響聲明
本論文呈現的研究旨在透過更可解釋且可擴展的語言模型輸出評量方式，來推進機器學習領域的發展。我們的研究可能帶來許多社會影響，包括在研究與部署中提升自動化評估管線的可靠性。在此同時，評量器模型本身可能繼承其底層語言模型的偏誤與盲點，因此任何在高風險環境中部署 BinEval 的行為，都應搭配人類的監督審查。
附錄 A 案例研究
A.1 有效的評量：示例說明
(a) 連貫性 — 單句摘要
摘要： 「測速照相機被轉向，正對準伯明罕西米德蘭茲郡的這棟房子。」
方法 / 分數 / |Δ| / 解釋
人類： 4.67 — 連貫：清晰且切合主題
BinEval (Claude)： 4.56 / 0.11 — 8 題中 7 題為「是」— 單句因結構簡單而自然滿足連貫性標準
G-Eval (gpt-oss)： 1.00 / 3.67 — 因為摘要過短而懲罰，誤判為「不連貫」
UniEval (gpt-oss)： 1.00 / 3.67 — 「這連貫嗎？」→ 否
拆解後的推理：
是 Q1 (結構性) / 是 Q2 (邏輯順序) / 是 Q3 (轉折) / 是 Q4 (無重複) / 是 Q5 (焦點統一) / 是 Q6 (點出主題) / 否 Q7 (遺漏部分細節) / 是 Q8 (無矛盾)
洞見： 一個單句本身就「自然」滿足了順序、無矛盾以及聚焦等標準。唯一一個「否」（涵蓋不完整）導致的扣分是成比例的：7/8 → 4.56，與人類評分高度吻合。整體性方法將「完整性」與「連貫性」混為一談，因而給出了最低分。
(b) 一致性 — 看似合理摘要中的隱微事實錯誤
來源（摘錄）： 「五角大廈稱此攔截行為『不安全且不專業』…… 俄羅斯國防部表示，該機是緊急升空『以識別』該飛行器……」
摘要： 「美國 RC-135U 在飛越波羅的海時，遭到一架俄羅斯 SU-27 側衛戰機攔截。五角大廈表示，該俄羅斯戰機繞行美機，以識別它。閱讀更多： http://dailycaller.com/…」
方法 / 分數 / |Δ| / 解釋
人類： 2.00 — 包含多處事實錯誤
BinEval (Claude)： 1.57 / 0.43 — 7 題中 3 題為「是」— 捕捉到錯誤歸因、虛構網址、說法混淆
G-Eval (gpt-oss)： 5.00 / 3.00 — 表面上看起來一致
UniEval (gpt-oss)： 5.00 / 3.00 — 「這一致嗎？」→ 是
拆解後的推理：
否 Q1 (將俄羅斯目的錯誤歸因給五角大廈) / 否 Q2 (虛構網址) / 否 Q3 (錯誤的實體角色) / 是 Q4 (飛機型號正確) / 否 Q5 (混淆了五角大廈與俄方說法) / 是 Q6–7 (描述了核心事件)
洞見： 該摘要提到了正確的實體（RC-135U, SU-27）並描述了真實事件，因此整體性方法認為它是一致的。BinEval 的拆解問題則對「每個主張獨立」進行探測，從而捕捉到錯誤歸因（Q1, Q3 為否）、虛構網址（Q2 為否）和混淆的說法（Q5 為否）。最終分數：3/7 → 1.57，與人類所評的 2.0 分相當接近。