尋ねよ、さばくな：解釈可能なLLM評価と自己改善のための二項質問

1. はじめに

大規模言語モデル（LLM）の急速な進歩により、生成は容易になり、評価は困難になった。現代のシステムは、要約、対話、推論、指示追従といったタスクにわたって、流暢で文脈に適した出力を生成できる。しかし、その出力を評価することは依然として大きなボトルネックである。人間による評価は遅く費用がかかり、ROUGE、BLEU、BERTScoreといった語彙的指標は、オープンエンドな生成における人間の判断との相関が低い。また、全体的なLLM判定者は、診断が困難な不透明なスコアを返すことが多い。

このボトルネックは、反復的な開発において特に大きなコストとなる。プロンプト、モデル、またはデコード戦略を比較するには、正確であるだけでなく、実用的なフィードバックが必要となる。単一のスカラー値スコアでは不十分なことが多い。例えば、要約が平凡な評価を受けた場合、問題が事実の不整合にあるのか、関連性の低さにあるのか、内容の欠落にあるのか、あるいは流暢さの低さにあるのかは、依然として不明瞭である。

我々の前提はシンプルである。モデルに一つの大まかな判断を求める代わりに、確認可能な小さな質問のセットを投げかけるのである。そこで我々は、各評価基準をアトミックな「はい/いいえ」の質問に分解し、その結果を解釈可能なスコアに集約するBinEvalを提案する。この分解により、評価はブラックボックス的な判定から構造化された診断シグナルへと変わり、評価者と生成者の両方を検査、デバッグ、改善することが容易になる。

BinEvalは3つの要素で構成される。第一に、メタプロンプトがタスクプロンプトを、評価次元ごとに整理されたアトミックな質問に分解する。第二に、評価者が各質問に独立して回答し、その回答を次元ごとのスコアと全体スコアに集約する。第三に、質問レベルのフィードバックを用いて、評価者プロンプトと生成プロンプトの両方を改善する2段階の最適化ループを導入する。

我々はBinEvalを、SummEval、Topical-Chat、QAGSの各データセットで評価し、要約とIFBenchにおける反復的なプロンプト更新について検証する。

我々の貢献は以下の通りである：

• 解釈可能な評価のための汎用フレームワーク：評価基準をアトミックな「はい/いいえ」の質問に分解し、タスクに依存しないモジュール式の手法を提供する。
• タスク固有の訓練なしでの高い性能：BinEvalは、SummEval、Topical-Chat、QAGSにおいて、訓練された評価者や全体的なLLM判定者に匹敵するか、それを上回る性能を示す。
• 反復的なプロンプト改善：要約とIFBenchの両方においてプロンプトを改善する、2段階の最適化ループを導入する。
• デバッグ可能なスコア：各BinEvalスコアは、説明を含む個々の判定に基づいており、評価者の振る舞いを容易に検査・診断できる。

2. 関連研究

従来の評価指標： ROUGE、BLEU、METEORといった語彙的重複指標は、要約や翻訳の評価において依然として標準的であるが、オープンエンドな生成における意味的等価性を捉えるのに苦労することが多い。BERTScoreやMoverScoreなどの埋め込みベースの指標は、表現空間で操作することで意味的マッチングを改善する。一方、BARTScoreのような生成ベースの指標は、評価をテキスト生成として捉える。より最近の、ParaPLUIEのような参照不要の手法は、正解参照を必要とせずにモデルのパープレキシティを用いて意味の保持を測定し、OmniScoreのようなフレームワークは、決定論的に学習された評価器を用いてスケーラブルな多言語評価をサポートする。

LLM-as-Judge（判定者としてのLLM）： 最近の研究では、LLM自体を評価者として活用することが増えている。G-Evalは思考連鎖推論とリッカート尺度による評価を組み合わせ、AlpacaEvalやMT-Bench/Chatbot Arenaはペアワイズまたは選好に基づく判断に依存している。このパラダイムは、Prometheus 2のような、人間やプロプライエタリモデルの判断の深さを近似する、専門化されたオープンソースの評価者にも拡大している。しかし、これらの判定者は依然として、位置バイアス、冗長性バイアス、自己強化バイアスの影響を受けやすい。JudgeBiasBenchのような最近のベンチマークは、判定者バイアスの分類体系を提供し、デバイアス戦略を提案することで、これらの懸念をさらに体系化している。

多次元評価： 多次元評価は、品質を一貫性、忠実性、情報量、関連性などの解釈可能な側面に分解することを目的とする。UniEvalはその代表的な先行例であり、評価を真偽値による質問応答として再定式化し、T5ベースの評価器を複数の次元でファインチューニングする。より最近の研究も同様に、評価を情報量や忠実性といった側面に分解している。また、QAEvalのようなハイブリッドフレームワークは、ルールベースの信頼性と、オープンエンドな生成タスクのための「評価者の混合（Mixture of Evaluators）」を組み合わせている。これらの手法は、評価をより小さく、より構造化された判断に分解することの価値を強化している。

評価のためのアトミック分解： FActScoreは、長文の生成物をアトミックな事実に分解し、個別に検証する「分解してから検証する」パラダイムを開拓した。ARESやRAGASといった関連フレームワークは、同様の分解のアイデアを検索拡張生成（RAG）に拡張し、OpenFActScoreはアトミック評価によるオープンソースのファクトチェックを可能にする。これらのアプローチは、きめ細かい分解が事実評価を改善できることを示しているが、通常は評価基準自体ではなく、生成されたコンテンツを分解するものである。

プロンプト最適化： プロンプト最適化は、手動の指示工学から、自動化されたプログラム的な改良へとますますシフトしている。DSPyは、自己改善型言語モデルパイプラインのための宣言的フレームワークを提供し、MIPROのようなアルゴリズムは命令と例示に対するベイズ探索を実行する。OPROやAPEも同様に、言語モデルを用いてプロンプトを反復的に生成・改良する。MARSのようなより最近の手法はマルチエージェントによるソクラテス的最適化を導入し、LLM-AutoDiffはテキスト入力をグラフ構造ワークフローにおける訓練可能なパラメータとして扱う。これらの手法は、我々がターゲットとした最適化シグナルとして、不一致に基づくプロンプト改良を用いる動機となっている。

3. 手法

我々はBinEvalを3つの部分に分けて提示する： 二項質問の生成（セクション3.1）、二項評価とスコアリング（セクション3.2）、そして反復的なプロンプト最適化（セクション3.3 と 3.4）である。

3.1 二項質問の生成

タスクプロンプト T は、要約命令、対話システムプロンプト、指示追従の仕様など、生成要件を定義するものとする。我々は、T を二項質問の集合にマッピングする分解関数を定義する。

ここで M は、LLMに2段階の分解を実行するよう指示するメタプロンプトである。

ステップ1 – 要約： まず、タスクプロンプト T を、明示的な要件の集合 ℛ に要約する。各要件 r_k は、出力が重要な情報を含んでいるか、フォーマットの制約に従っているかなど、個別の評価基準を捉える。この要約ステップは、モデルがより詳細な分解を試みる前に、タスク全体の一貫した表現を形成するのに役立つことを意図している。

ステップ2 – 分解： 各要件 r_k について、「はい」と答えることが出力が要件を満たすことを示し、「いいえ」と答えることが違反を示すような、1つ以上の二項質問を生成する。暗黙的に複数のサブタスクを含む要件は、個別の質問に分解され、各質問には否定的なケースを明確にするための簡潔な違反例が添えられる。この設計は、複雑な推論は、逐次的またはモジュール的に解決できるより単純なサブ問題に分解することで改善されることが多いという先行研究の知見に基づいている。我々の設定においても、モデルが単一の全体的な判断を下すのではなく、単純化されたサブタスクに関する対象を絞った二項質問に答えることで、評価が容易になるという同じ直感に基づいている。

質問は評価次元に整理することができる。一貫性、整合性、流暢さ、関連性などの次元の集合に対して、質問は次元ごとに分割される。

メタプロンプト M はタスクに依存しない。つまり、同一のメタプロンプトが、T だけを変更するだけで、要約、対話、指示追従、またはその他のあらゆるタスクに対して適切な二項質問を生成する。

3.2 二項評価とスコアリング

評価者LLM E、入力 x（ソース文書やトランスクリプト、指示など）、出力 y（生成された要約や対話応答、補完など）、二項質問 q_i が与えられたとき、我々は二項評価関数を定義する。

ここで、評価者が「はい」と答えた場合は f_E(x, y, q_i) = 1、それ以外の場合は 0 となる。各二項判定と並行して、評価者は自然言語による説明 e_i を生成し、解釈可能性を可能にする。

次元 d の次元ごとのスコアは、次式で計算される。

全N問にわたる全体スコアは、次式で計算される。

両方のスコアは [0, 1] の範囲に収まり、1はすべての基準が満たされていることを示す。異なる尺度を使用する既存の評価フレームワークとの比較を可能にするために、スコアはアフィンスケーリングによって [0, 1] から任意の目標区間 [a, b] にマッピングできる。

3.3 クロスモデルプロンプト更新

BinEvalの二項質問フレームワークは、評価者間のクロスモデルプロンプト更新を可能にする。重要な洞察は、特定の二項質問におけるソース評価者とターゲット評価者の間の不一致が、改善のためのきめ細かいシグナルを提供するということである。全体的なスコアの違いとは異なり、二項質問の不一致は、どの基準がモデル間で一貫性なく判断されているかを正確に特定する。これにより、より強力なソースモデルを参照として使用し、通常はより弱い別のターゲットモデルのプロンプトを、その評価者の振る舞いがソースにより近づくまで反復的に更新することが可能になる。さらに、モデルを別のモデルファミリーに移行する際に、同様のパフォーマンスを維持するためにプロンプトを更新するのにも役立つ。

ソース評価者 E_src を参照モデルとし、そのプロンプトを改善したいターゲット評価者を E_tgt とする。反復 t におけるターゲット評価者のプロンプトを P_E^(t) とする。

各反復 t において、最適化は以下の5つのステップで進行する。

1. 評価： 各テストケース (x_j, y_j) について、両方のモデルから二項評価を取得する。
2. 不一致の特定： 評価者が不一致となる質問のセットを計算する。
3. 教訓の抽出： ノートテイカーLLM L_note が各不一致を文脈に沿って分析し、一般化された教訓を抽出する。重複排除された最終的な教訓セットは ℒ_unique となる。
4. プロンプトの更新： 各教訓について、アップデーターLLMが現在のプロンプト内の関連する部分文字列を特定し、その教訓を反映した改訂版を生成する。

このループは、ターゲット評価者のスコアがすべての次元で許容範囲 ϵ 内でソース評価者のスコアと一致するか、あるいはターゲット評価者がすべての次元でソース評価者を満たすか上回った時点で終了する。完全なアルゴリズムは付録Aに示されている。

3.4 自己プロンプト更新

同じ二項質問フレームワークは、生成における自己プロンプト更新にも使用できる。評価者を別のモデルに合わせる代わりに、この手順は、評価者が特定した失敗を自身の出力に対するフィードバックとして使用することで、生成器を反復的に改善する。

反復 t におけるプロンプト P_G^(t) を持つ生成LLM L_G を考える。

1. 生成： 現在のプロンプトを使用して出力を生成する。
2. 評価： 潜在的に既に改善された評価器を用いて各出力をスコアリングし、不合格となった質問とその説明を収集する。
3. 教訓の抽出： ノートテイカーLLMが評価エラーを文脈に沿って分析する。
4. 重複排除と更新： 評価器最適化に使用したのと同じ意味的重複排除とプロンプト書き換え手順を、今度は生成プロンプト P_G に適用する。

生成ループは、評価エラーがなくなるか、最大反復回数に達した時点で終了する。

4. 実験設定

我々は、補完的な2つの実験セットを設計する。パートIでは、BinEvalの性能を、人間による注釈付きの確立されたベンチマークで評価する。パートIIでは、検証不可能なタスクと検証可能なタスクの両方で、反復的なプロンプト更新メカニズムを実証する。これらの実験を通して、我々は gpt-oss-120b と Claude Sonnet 4 を使用する。LLM応答のランダム性を減らすため、すべての実験で温度を0に設定し、2回の実行の平均を報告する。

4.1 評価指標

評価品質については、手法によるスコアと人間の判断との間のスピアマンの順位相関係数（ρ）、ケンドールの順位相関係数（τ）、ピアソン相関係数（r）を要約レベルで報告する。

4.2 パートI: 評価品質の検証

我々はUniEvalの評価プロトコルに従い、3つの確立されたベンチマークで評価する。

SummEval： 100のCNN/DMソース記事のベンチマークで、各記事は16の異なる要約モデルによって要約され、1,600の要約レベルの注釈が得られる。人間の評価者は各要約を流暢さ、一貫性、整合性、関連性の4次元で評価した。評価は1～5のリッカート尺度である。

Topical-Chat： 6つの対話モデルによって生成された60の対話応答のベンチマークで、自然さ、一貫性、魅力、根拠性、理解しやすさ、そして総合的な品質評価の6次元で注釈が付けられている。Zhongらに従い、我々はこれらのうち4つの側面を使用する。

QAGS： 要約における幻覚評価を特に対象としたベンチマークで、CNN/DMからの235サンプルとXSumからの239サンプルで構成される。注釈者は、各要約のソース文書に対する整合性を評価した。

4.3 パートII: 反復的プロンプト更新

我々はBinEvalの反復的プロンプト更新メカニズムを2つのタスクで評価する。SummEvalにおける評価者プロンプト最適化（プログラム的な正解チェッカーが存在しないという意味で検証不可能）と、IFBenchにおける生成プロンプト最適化（実行可能な制約チェッカーを通じて検証可能）である。SummEvalについては、2つの更新モードをテストする。単一のモデル（gpt-oss-120b）が人間の判断に対する失敗を用いて自身の評価者プロンプトを改善する自己更新と、より強力なモデル（Claude Sonnet 4）が参照評価者として機能し、不一致からの教訓を用いてターゲットモデルのプロンプトを更新するクロスモデル更新である。詳細な実験設定については付録Bを参照のこと。

図1は、これらの向上をより詳細に示している。この図は、SummEvalにおける、人間による注釈と様々な手法を比較した、4つの評価次元にわたるスコア分布のバイオリン図を示している。BinEvalは、一貫性において人間の分布に視覚的に最も近い。そこでは、上限付近の人間の集中度にほぼ一致しながらも、低スコアの質量をいくらか保持しており、表1における最大の相関優位性を反映している。次元全体では、BinEval（Claude）は一般的に中心傾向と広がりにおいて人間の判断と最もよく一致した手法の一つであり、特に一貫性が最も強い。UniEvalとG-Evalは、より狭く集中した分布を示しており、システム間の識別力が弱いことを示唆している。gpt-ossベースのバリアントは、人間と比較してスコアを一貫して過小評価しており、特に一貫性と関連性ではBinEval（gpt-oss）とG-Eval（gpt-oss）が視覚的に低い平均値を示している。流暢さは、現代の要約システムの一般的に高い流暢さとこの次元の限られた分散を反映して、すべての手法で上限付近に密集している。注目すべきことに、UniEval（gpt-oss）はほぼ退化した流暢さの分布を示し、この軸に沿った品質を区別できないことを示している。全体として、BinEvalの主な強みは、すべての次元で完全な較正を行うことではなく、特に事実の一貫性について、意味のある相対的な変動を維持する能力である。

図2は、システムレベルでの同じ比較を示しており、各スコアは4つのSummEval次元全体で平均化され、16のシステムは人間の平均点の昇順に並べられている。BinEval（Claude）は人間のランキングを最も忠実に追跡し、低性能モデルから高性能モデルへの単調な傾向を維持しながら、中位および低位のモデル間で目に見える分離を保っている。対照的に、UniEvalとG-Evalは、より圧縮されたスコア範囲を示し、特にランキングの中間でシステム間の差を減衰させている。gpt-ossベースの手法は一般的に絶対スコアレベルではより保守的だが、大まかなシステムの順序は依然として大部分を回復している。もう一つの明確なパターンは分布の幅である。BinEvalのバリアントはより広く、より人間に近いシステム内分散を示す傾向があるが、UniEvalとG-Evalは、真のスコアの変動性を過小評価する可能性がある、より狭いバイオリン図を生成する。手法間の一致は、最も人間による品質評価が高いシステム（右端）で最も強く、低品質のシステムはより大きな乖離を示しており、自動評価手法にとって、質の低い要約と平凡な要約を区別することは依然として課題であることを示唆している。

5.2 評価品質：Topical-Chat

対話の結果は、BinEvalが要約以外の分野にも効果的に転用可能であることを示している。BinEval（Claude）はTopical-Chatで最高の平均スピアマン相関（0.632）を達成し、自然さと魅力において特に大きな向上が見られる。一方、BinEval（gpt-oss）はG-Eval（gpt-oss）と競合し、UniEval（gpt-oss）よりも大幅に優れている。これらの結果は、対話品質を複数の具体的な質問に分解することが、主観的な会話基準にとって特に有用であることを示唆している。詳細な結果は付録D.1に記載されている。

5.3 評価品質：QAGS

QAGSは、分解の利点を最も明確に示している。BinEval（Claude）は最高の平均スピアマン相関（0.620）を達成し、BinEval（gpt-oss）でさえもG-Eval（gpt-oss）を大幅に上回っている。G-Evalの二値プロンプトでは、信頼性の高いランキングを行うにはスコアの粒度が粗すぎるためである。これは、特にXSumのような幻覚が発生しやすいデータでは、事実の一貫性を複数の対象を絞った質問に分解する方が、単一の全体的な判断や「はい/いいえ」判断に依存するよりもはるかに堅牢であることを示唆している。詳細な結果と考察は付録D.2に記載されている。

5.4 反復的プロンプト更新

5.4.1 SummEval：評価者プロンプトの更新

表2は、SummEvalの4つの次元における反復的プロンプト更新下でのテストセットのスピアマン ρ を報告している。両方の更新モードで、4つの次元のうち3つが改善された。自己更新は流暢さで最大の次元単体の向上（+0.119）をもたらす。この次元ではベースラインプロンプトが特に弱く、評価者のルーブリックと生成された二項質問の両方を反復的に改良することで、人間の判断との整合性が大幅に向上する。クロスモデル更新は一貫性において最も強力であり（+0.136）、これはより強力な参照評価者が事実検証に特に有用なガイダンスを提供するという考えと一致する。次元全体で平均すると、自己更新は+0.075、クロスモデル更新は+0.070の改善をもたらす。

関連性は、どちらの更新モードでも改善に抵抗する。更新されたプロンプトを調査すると、教訓に基づく改良では、関連性を俳優、動機、背景イベントごとの個別チェックなど、過度に細かい要件に分解しすぎる傾向があることが示唆される。これらの改良は、評価者を人間の注釈者とより整合させるのではなく、より厳しくしてしまう。これは、関連性が比較的全体的な判断であり、より具体的な失敗モードを持つ次元に比べて、きめ細かい二項分解には適していないことを示唆している。

3つの観察事項が際立っている。第一に、2つの更新モードは相補的である。自己更新は一貫性と流暢さに最も役立ち、クロスモデル更新は一貫性に最も役立つ。これは、人間のスコアの乖離とモデル間の不一致が、異なる種類の評価者エラーを表面化させることを示している。第二に、ほとんどの向上は最初の1回か2回の反復で現れる。後の反復では、教訓が競合する指示として蓄積されるため、プロンプトが劣化する可能性が高くなる。第三に、二項質問の再生成が重要である。最大の向上は、評価者プロンプトだけでなく、誘導された質問分解も変更する反復で発生し、質問設計自体が評価品質のための重要なレバーであることを強化している。

表2：SummEvalにおける評価者プロンプトの更新。人間の判断とのテストセットのスピアマン ρ。Δ はベースラインからの絶対的な改善。最良の反復は、テストパフォーマンスでの早期停止によって選択される。

Dimension	Self-Update			Cross-Model
	Base	Best	Δ	Base	Best	Δ
Coherence	.521	.610	+.089	.524	.594	+.070
Consistency	.477	.568	+.091	.501	.637	+.136
Fluency	.255	.375	+.119	.246	.318	+.072
Relevance	.505	.505	.000	.532	.532	.000
Average	.440	.515	+.075	.451	.520	+.070

5.4.2 IFBench：生成プロンプトの更新

表3は、プロンプト更新の反復にわたるIFBenchの厳格なテストセット精度を示している。自己更新はわずかな改善を達成し、反復3で38.0%でピークに達する。これは、自身の反復0のベースラインから+3.4パーセントポイントの向上である。しかし、同じ実行は反復4で崩壊しており、プロンプトの書き換えを繰り返すことの脆弱性を示している。クロスモデル更新は改善を示さず、実際には最初の更新ステップ後に低下している。これは、より強力な判断者のより厳格な基準が、プロンプトを改良するのではなく、過剰に修正してしまう可能性があることを示唆している。

表4のカテゴリ別内訳は、プロンプト可能な制約と計算的な制約の間に明確な隔たりがあることを示している。フォーマットと文の制約は大幅に改善され、それぞれ17パーセントポイント向上している。これは、これらのタスクは、モデルにより明確な構造的ガイダンスが与えられれば解決されることが多いことを示している。対照的に、カウント、比率、単語、繰り返しの制約はほとんどまたは全く改善を示さない。これらの制約は、カウントの維持、比率の強制、音節や語彙基準による単語のフィルタリングなど、生成中の正確な計算を必要とする。抽出された教訓はこれらの失敗を正しく診断することが多いが、「内部カウンターを維持する」といった指示は、モデルに新しい計算能力を与えるものではない。代わりに、それらはプロンプトの肥大化に蓄積され、最終的には以前はうまく機能していたカテゴリにさえも悪影響を及ぼす。

主なポイントは、反復的なプロンプト更新は、モデルが関連する能力を既に持っているが、それを表現するためにより良いガイダンスが必要な場合に効果的であるということだ。失敗がプロンプトの問題ではなく、根本的な能力の限界を反映している場合、効果ははるかに低くなる。これらのケースでは、BinEvalは依然として正確な診断を提供するが、結果として得られる修正はほとんど実行不可能であり、指示の過負荷によってパフォーマンスを低下させる可能性がある。

5.5 ケーススタディ

付録Aでは、評価とプロンプト更新の両方の例を紹介している。4つのSummEvalケーススタディ（次元ごとに1つ）が含まれており、BinEvalが1文の要約における一貫性を認識し、微妙な事実誤認を特定し、歪んだテキストに部分的な評価を与え、不完全性と無関係性を区別できることを示している。付録には、自己更新とクロスモデル更新のSummEvalプロンプト更新例、過度な分解が人間の判断との整合性を損なう関連性の失敗事例、プロンプト可能な失敗と根本的な計算限界との境界を強調するIFBenchの例も含まれている。これらの例を総合すると、分解がより正当化可能なスコアをもたらし、プロンプトの改良がいつ成功し、いつ失敗するかの診断に役立つことが示されている。

表3：IFBenchにおける生成プロンプト更新（テストセット嚴格精度、%）

Method	Iteration					Peak
	0	1	2	3	4
Self-update	34.6	36.8	34.6	38.0	26.1	38.0 (+3.4)
Cross-model	35.9	33.8	—	—	—	35.9 (+0.0)
No optimization (baseline)	35.5					35.5

表4：自己更新下でのIFBenchのカテゴリ別精度（%）

Category	Baseline	Peak	Trend
Format	52	69	+17pp, ガイダンスに反応
Sentence	25	42	+17pp, キーワードと構造に敏感
Count	63	63	指示が増えると悪化
Ratio	22	22	変化なし
Words	16	20	わずかな改善
Repeat	17	17	変化なし

5.6 なぜ分解が有効なのか？

なぜ、複数の原子的な二項質問を通じて評価することが、単一の全体的な判断よりも優れているのだろうか？ 我々は3つの寄与メカニズムを特定し、SummEvalでのそれぞれの証拠を検証する（完全な質問セットについては付録Eを参照）。

複雑性の低減。 各二項質問は単一の検証可能な特性を分離し、多面的な判断をより単純なものの集合に置き換える。これは、プロンプト作成におけるタスク分解の利点を反映している(Zhou et al., 2022; Khot et al., 2022)。「すべての固有表現は正確に表現されているか？」といった質問は、「事実の一貫性を1～5で評価せよ」よりも信頼性高く答えるのが容易である。一貫性については、7つの対象を絞った質問のイエス率が0.75から0.95の間に分布しており（表10）、それぞれが異なる難易度を捉えていることを示している。このパターンは次元全体で成り立つ。流暢さ、関連性、一貫性では、イエス率の分布幅はそれぞれ0.48、0.46、0.86である。

集約による分散低減。 N個の弱い相関を持つ二項分類器を集約すると、1/Nに比例して分散が減少する。図3は、このメカニズムが次元によって異なることを示している。関連性と一貫性は質問間の平均相関が最も低く（φ=0.20と0.28、ペアの80%と64%が|φ|<0.3）、一方で流暢さは中程度である（φ=0.39、例：スペルQ2と句読点Q3でφ=0.02）。一貫性は例外であり（φ=0.58、弱いペアはゼロ）、「事実誤認がない」や「誤った表現がない」といった質問が本質的に関連している（φ=0.79）。

失敗モードの網羅性。 分解は基準を明示的に列挙することを強制し、全体的な判断よりも再現率を向上させる。流暢さでは、スペル（Q2）と句読点（Q3）はほぼ無相関（φ=0.02）で、異なるイエス率（0.71対0.33）を持ち、異なる種類の失敗を捉えている。関連性Q1（主要トピック、0.95）とQ3（冗長性、0.64）はφ=0.01を示す。一貫性がここでも最も弱い。最も相関の低いペアでφ=0.32である。

次元レベルの要約。 3つのメカニズムは寄与の度合いが異なる。関連性と一貫性は、強い分散低減と網羅性を示す。流暢さは3つすべてから恩恵を受ける。一貫性が最も教訓的である。分散低減と網羅性は最も弱いが、UniEvalに対する向上幅は最も大きい（+0.195スピアマンρ）。これは、複雑性の低減だけでも、すなわち事実検証を対象を絞ったサブチェックに分解すること自体が、主要な推進力となり得ることを示唆している。実用的な観点からは、実務家は生成された質問についてこれらの特性（イエス率の分布幅、質問間相関、ペアワイズの網羅性）を検査することで、分解が最も役立つ場所と、改良が必要な場所を予測できる。

6 考察

失敗モード。 分解は、事実の一貫性のような具体的な基準に最も適している。このような基準では、エラーは特定の主張やエンティティに関連付けられるため、比較的明確な「はい/いいえ」の判断でチェックできる。分解は、人間の判断がより全体的で、一連の二項チェックに還元しにくい主観的な品質に対しては信頼性が低くなる。このような場合、評価の品質は、生成された質問が、人間が全体的な判断を下す際に実際に重み付けする側面を捉えているかどうかに大きく依存する。付録は両方のパターンを示している。分解が厳しすぎると関連性が低下する可能性があり、失敗が指示ではなくモデルの基本能力を反映している場合、プロンプト更新の効果は低くなる。IFBenchでは、より明確なプロンプトはフォーマットや文レベルの制約には役立つが、カウントや比率の追跡には役立たない。これは、一部のエラーがタスクの仕様ではなく、実行限界に起因することを示唆している。

計算コスト。 BinEvalは、診断価値のために効率性をトレードオフにしている。単一の全体的な判断と比較して、二項質問を生成し、それぞれに回答する必要がある。これにより、評価中に処理されるモデル呼び出しの数とテキストの総量が増加する。プロンプト更新にはメモ取り、教訓の重複排除、メタプロンプトの書き換えが追加されるが、バッチ処理によって最初の2つは控えめに保たれ、プロンプトの書き換えはほとんどの更新手法で共有される。主な経常的なコストは、質問レベルの評価である。

制限事項。 この手法は依然として質問の品質に依存している。重要な基準が欠落している場合、最終スコアはそれらを見逃してしまう。また、満たされた質問の割合が全体的な品質にほぼ線形にマッピングされることを前提としているが、これは常に成り立つとは限らない。

6.1 分解評価と全体的評価の比較

図4は、全体的評価手法における代表的な失敗モードを示している。評価対象の要約には、3つの明確な事実誤認（下線部）が含まれている。ロシアの表明した目的を国防総省のものと誤認していること、ソースに存在しない外部URLの捏造、そして2当事者の迎撃に関する説明の混同である。これらの誤りにもかかわらず、G-EvalとUniEvalはどちらも一貫性のスコアとして満点の5.0を割り当てている。なぜなら、要約は表面上もっともらしいからである。正しい航空機の種類を挙げ、一般的な出来事を正確に説明している。全体的評価は、具体的な主張が間違っている場合でも、局所的な正確さと全体的な一貫性を混同し、流暢でトピック的に首尾一貫したテキストを高く評価してしまう。

BinEvalは、この問題を回避するために、一貫性の評価を7つの対象を絞った二値質問に分解する。それぞれの質問は、事実の裏付け、捏造、実体の正確さ、数値的正確性、因果関係の忠実性、幻覚、範囲の表現といった、異なる種類の主張を精査する。質問Q1、Q3、Q5は、誤帰属と混同を直接的に表面化させ、Q2は捏造されたURLを指摘する。その結果得られたスコア3/7 ≈ 1.57（1～5のスケールに換算）は、人間の評価である2.0（|Δ| = 0.43）と非常に近い値となる。一方、G-EvalとUniEvalは3.0ポイントも乖離している。この例が示すBinEvalの根本的な設計原理はこうだ。つまり、きめ細かい二値質問は主張レベルのプローブとして機能し、総合的なスコアリングでは体系的に見えなくなってしまうエラーを可視化するのである。非常に重要な点として、この粒度の細かさによってフィードバックが実用的なものとなる。不合格となった各質問がエラーの種類を直接特定するため、要約生成器または評価器のプロンプトに対して、対象を絞った修正が可能になるのだ。

(c) 流暢性 — 部分的に判読可能な、支離滅裂な要約

要約: 「『スペースインベーダー』は1970年に日本で開発された。政府の最高軍事責任者として、国民は今夜安眠できる。彼は1976年にモハメド・アリとも戦った。猪木は米国を拠点とするWWEに登場した。」

分解推論: N Q1 (文章の断片: 「政府の最高軍事責任者として」) Y Q2 (綴りの誤りなし) N Q3 (句読点: バッククォート引用符、大文字の欠落) N Q4 (不正確: 「1970年」と「1970年代後半」の違い) N Q5 (文2における連結の断片) N Q6 (話題間の不自然な飛躍) N Q7 (再読が必要) Y Q8 (主要なポイントは依然として理解可能)

洞察: 人間の評価者は、誤りがあるにもかかわらずテキストが部分的に判読可能であるため、これを2/3（最低ではない）と評価する。BinEvalはこのニュアンスを捉える: Q2 (Y, 綴りの誤りなし) と Q8 (Y, 主旨は理解可能) が最低スコアへの転落を防いでいる。スコア: 2/8 → 1.50、1と2の間である。G-EvalとUniEvalは、流暢性に関するどのような問題も全面的に否定的な判断を引き起こすため、最低スコアを割り当てる。

(d) 関連性 — 簡潔だが主題に関連する一行要約

情報源 (抜粋): 「ISISは200人以上のヤジディ教徒を解放した…ほとんどが女性、子供、高齢者…ペシュメルガの上級司令官は、彼らがグループで解放されたと述べた…解放された捕虜たちは非常に疲れているように見えた…」

要約: 「ISISは水曜日に200人以上のヤジディ教徒を解放した。」

分解推論: N Q1 (人口統計、状態などの重要な詳細を省略) Y Q2 (捏造された内容なし) Y Q3 (冗長性なし) Y Q4 (些細な水増しなし) N Q5 (内容が乏しく、重要な側面を見逃している) Y Q6 (含まれる内容は関連性がある)

洞察: 要約は中心的な出来事を正確に捉えているが、簡潔すぎる。BinEvalは、それが正しく行っていること（主題に沿っている、捏造がない、水増しがない）を評価する一方で、省略（Q1, Q5）を罰する。スコア: 4/6 → 3.67、人間の評価3.33と一致する。G-EvalとUniEvalは、要約が事実に基づき主題に沿っているにもかかわらず、不完全性を無関連性と混同し、最低スコアを割り当てている。

図5とその後の図6は、SummEvalデータセットからの実例を用いて、BinEvalの分解がどのように他の評価手法を凌駕するかを示している。図5は各次元につき一例、すなわち首尾一貫性、一貫性、流暢性、関連性を示している。図6は、同じ4つの例について、複数の評価手法のスコアを棒グラフで比較し、破線で示された人間の参照評価と並べて表示している。BinEval（Claude）は、すべての次元にわたり一貫して人間のスコアを追跡している。特に、BinEvalの根底にある大規模言語モデル（バックボーンLLM）としてAnthropicのClaudeを使用した場合、そのスコアは人間の判断と最も密接に一致している。これは、BinEvalフレームワークが堅牢であり、高価な独自モデルだけでなく、gpt-ossのような、よりアクセスしやすいオープンソースモデルでさえ、BinEvalのプロンプトによって導かれることで、良好なパフォーマンスを発揮できることを示している。

対照的に、G-EvalやUniEvalのような従来の手法では、評価にGPT-4やT5といったモデルを使用したとしても、これらのエッジケースでスコアが極端な値に崩れてしまう。例えば、完璧に正しい短い要約に対して「貧弱」とラベル付けしたり、部分的に判読可能なテキストに対して最低スコアを割り当てたりする。これは、単一のプロンプトで全体的な判断を下すことの危険性を浮き彫りにしている。つまり、モデルは単一の表面レベルの特徴（例：短さ）に過度に重み付けを置き、テキストの真の質を見失ってしまうのだ。

これらの視覚的比較から得られる実践的な教訓は、きめ細かい、多面的な評価の重要性を再確認させるものである。BinEvalのようなシステムを採用することで、要約評価のための、より信頼性が高く、透明で、人間の判断と一致した自動化パイプラインを構築できる。

図6: 4つの実例に関するSummEvalでのスコア比較。各次元につき1つずつ表示。破線は人間の参照値を示す。BinEval (Claude) は全次元で一貫して人間のスコアを追跡する。G-Eval (GPT-4) と UniEval (T5)（公表されたベースライン）は妥当なパフォーマンスを示すが、それらの評価フォーマットを、モンテカルロサンプリングやファインチューニングなしにgpt-ossに適用すると、エッジケースでスコアが崩壊する。

このセクションでは、BinEvalの反復的なプロンプト更新が、どのように評価と生成のプロンプトを改善していくかを、成功した更新と失敗モードの両方の例を用いて説明する。

結果: スピアマンの順位相関係数ρが、ベースラインの.521から反復1回目の.610へと改善した。

自己更新パイプラインは、ベースラインの「首尾一貫性」プロンプトが、一文要約に対して厳しすぎること、また人間の評価者が主に論理的な流れに焦点を当てるのに対し、背景の詳細の省略を罰することを特定した。この分析から、3つの代表的な教訓が抽出された。

1. 暗黙的な遷移は許容される。 論理的なつながりを要求するが、「なぜなら」「したがって」のような明示的な手がかり語を要求しない。物語が流れるなら、暗黙的な連続性で十分である。

2. 中心的主張の関連性基準を追加する。 各文は記事の主要な主張を進展させるべきであり、そうでない文は文法的な正しさに関わらず、貢献していないと見なす。

3. 背景の詳細の省略を罰しない。 核心となる事実と対立が明確なままである限り、文脈の欠落は首尾一貫性を低下させるべきではない。

これらの教訓は、評価ルーブリックに対する的を絞った修正を生み出した。

表5: 首尾一貫性のプロンプト：反復0から反復1への主な変更点。

反復0（ベースライン）では、「…文間の論理的なつながり（「なぜなら」「したがって」のような明示的な手がかり、または暗黙的な連続性）…」とあったが、反復1（更新後）では「…文間の論理的なつながり（暗黙的なつながりは許容される。「その後」「なぜなら」のような明示的なマーカーは役立つが必須ではない）…」と修正された。また、「…全体的な焦点 — すべての文がメイントピックに直接関連していること」から、「…中心的主張との関連性: 記事の主要な主張または核心的事実を特定し、すべての文がその主張を進展または支持していることを確認する。もし文が主要な議論を進展させないなら、それは貢献していないものとして扱う」へと変更された。さらに、「事実の欠落に対してではなく、不十分な論理の流れ、冗長性、順序の誤り、またはトピックから外れた内容に対してのみ罰する」という項目は、「本質的な対立や核心的事実が明確なままである限り、背景の詳細を省略したとしても要約を罰しない」と明確化された。

なぜこれが機能するのか: これらの教訓は、モデルが簡潔さを過度に罰するという体系的なバイアスを正しく特定し、更新されたルーブリックは、評価者に対して省略を許容するよう明示的に指示する一方で、人間の評価者がどのように首尾一貫性を判断するかとよりよく整合する、具体的な「中心的主張」の基準を追加している。

結果: スピアマンの順位相関係数ρが、ベースラインの.501から反復1回目の.637へと改善した。

Claude（ソース評価者）は、省略（情報源の事実に言及しないこと）と矛盾（裏付けのないことを述べること）を正しく区別したが、gpt-oss（ターゲット）はこれらを混同し、単に詳細を省略した要約を罰した。この意見の相違から得られた主要な教訓は以下の通りである。

1. 省略 ≠ 不一致。 情報源からの詳細を省略している要約は、事実と矛盾しているわけではない。罰せられるべきは、裏付けがないのに要約に存在する記述のみである。

2. 算術による意味的等価性。 「83分」を「残り7分」（90分の試合において）と言い換えることは、幻覚ではなく、有効な変換である。

3. 主体と役割の誤った帰属。 要約が文節を再構成する場合、実体が正しい動詞に結びついているか検証する（例：情報源が「XはYと口論し、Zと0-0で引き分けた」と述べている場合、「XはZとの口論を再開した」とする要約は誤った帰属である）。

更新されたプロンプトは大幅に拡張され、評価ステップが4から6に増え、文字通りの解釈、主語の検証、意味的等価性に関する詳細なガイダンスが追加された。重要な構造的追加は、省略と矛盾の違いを明確に定義し、評価者が表面的な類似性ではなく、存在する記述の真実性に焦点を当てるように導くことだった。この改善により、評価の正確性と人間の判断との整合性が大幅に向上した。