大規模言語モデルが対処するのが最も難しいリスクの一つは、確信がない時でも非常に断定的な表現をしてしまうことです。このような高確信度の幻覚は、ユーザーが回答の信頼性を誤って判断する原因となります。モデルは自分の知識の限界を認識できないだけでなく、内部の不確実性を過度に断定的に表現してしまう可能性があります。イェール大学とGoogle Researchによるこの論文は、まず重要な概念を切り分けています。ほとんどのキャリブレーション手法は事実的キャリブレーションに焦点を当てており、モデルが出力する確率を外部の正解率に一致させることを目指します。しかし、これは忠実的キャリブレーションとは異なります。忠実的キャリブレーションは、モデルが口にする不確実性が、モデル自身の内的な確信度にできるだけ近いことを要求します。
このギャップに対して、本研究はRLMF（Reinforcement Learning with Metacognitive Feedback、メタ認知フィードバック付き強化学習）を提案しています。RLMFは、モデルがうまく答えたかどうかを報酬として与えるだけでなく、「モデルが今回の自分のパフォーマンスを正確に評価できるかどうか」も学習シグナルに組み込みます。実験では、RLMFは忠実的キャリブレーションタスクにおいて標準的な強化学習と比較して最大63%の向上を達成し、自然言語による不確実性表現の人間による評価では平均勝率が96%に達しました。これらの数字には明確な範囲があります。それらは不確実性表現と忠実的キャリブレーションのタスクに限定されており、全体的な能力の向上と解釈すべきではありません。
[図1：RLMFの概要。メタ認知データ選択と定向的書き換えを組み合わせて、LLMの数値的および言語的な不確実性表現を忠実にキャリブレーションする] 2段階フレームワークでは、まずRLMFとメタ認知データ選択を用いて数値的確信度をキャリブレーションし、次に定向的書き換えによってそれを自然言語の不確実性表現に変換します。
「事実的キャリブレーション」から「忠実的キャリブレーション」へ：見落とされてきた信頼のギャップ
RLMFの価値を理解するには、まず混同されやすい2つの概念を明確に区別する必要があります。事実的キャリブレーションが追求するのは、モデルが表明する確信度と、実際に正解する確率が一致することです。モデルが「80%の確信がある」と言った場合、その種の予測において実際の正解率が約80%であれば、キャリブレーションは良好と言えます。これは学術界で慣習的に使われる尺度ですが、モデルが表現する不確実性が内部の確信度に近いかどうかは考慮していません。
忠実的キャリブレーションは、モデルが表現する不確実性が内部の不確実性と整合していることを要求します。あるモデルは事実的キャリブレーションではまずまずの性能を示していても、確信度が低い時に断定的な口調で答えたり、確信度が高い時に不必要に自信を引っ込めたりする可能性があります。論文が注目しているのはまさに、この表現と内部シグナルの不一致の問題です。モデルは高確信度で誤った答えを生成し、知識の限界を認識できず、自身の不確実性を誤って表現してしまいます。これは単に間違えることよりも厄介です。ユーザーがそれを信じるべきかどうかを判断するのが非常に難しくなるからです。
論文では、この能力をテストするために6つ以上のコンテンツ領域をカバーする10のベンチマークデータセットを設計しました。オープンドメイン質問応答から数学的推論、自然言語理解から幻覚検出まで、さまざまな形式と難易度を網羅しています。
RLMFのメカニズム：モデルに「自己採点」を学ばせる
RLMFはGRPO（Group Relative Policy Optimization、グループ相対ポリシー最適化）の上に構築されています。標準的な強化学習では、モデルは同じ質問に対して複数の候補回答を生成し、各回答の正確性、事実的キャリブレーション、形式などのパフォーマンスに基づいて報酬を計算し、どの回答を「強化」すべきかを決定します。
重要な変更点は、追加の判断次元の導入です。メタ認知優位性スケーリングです。これは「まず回答の質を見て、次に自己評価の質を見る」と理解できます。候補回答のタスクパフォーマンスがグループ内平均を上回っており、同時にモデルによる今回のパフォーマンスの自己評価もより正確であれば、より強い学習シグナルを受け取ります。具体的には、GRPOが各候補回答の生の優位値を計算した後、RLMFは係数Zgを導入してスケーリングを行います。
Zgが測定するのはモデルの自己評価の正確さです。モデルがこのタスクにおける自身の忠実的キャリブレーションレベルを「予測」した値と、実際に示された忠実的キャリブレーションレベルの間のギャップを比較します。ギャップが小さいほど、Zgは1に近づき、メタ認知パフォーマンスが優れていることになります。このスケーリングは、タスクパフォーマンスがすでにグループ内平均を上回っている候補回答にのみ適用され、「自己評価が見た目良さそうだから」という理由で低品質な回答が誤って強化されることを防ぎます。
[図2：論文で提案されたRLMF手法の概要] GRPOのポリシー更新プロセスにおいて、RLMFはメタ認知フィードバックメカニズムを導入します。モデルの自己判定の正確さを用いて優位値をスケーリングすることで、目標タスクを最適化しながら、モデル自身のパフォーマンス評価能力も強化します。
図2
メタ認知データ選択：なぜ「高得点」と「低得点」のサンプルを同時に見るのか
学習プロセスにメタ認知シグナルを注入するだけでなく、研究ではメタ認知データ選択を補完戦略として提案し、学習サンプルの選別に用いています。通常の「能動学習」の考え方（モデルの現在のパフォーマンスが最も悪いサンプルだけを選ぶ）とは異なり、ここでのアプローチはまずモデルに各サンプルに対して自己評価を行わせます。外部の正解ラベルを使わずに、自分の回答に「自分はどれくらいうまく答えられたと思うか」というスコアを付けさせます。
その後、自己評価スコアが最も高い半分と最も低い半分のサンプルを同時に選び、最終的な学習セットを構成します。論文が示す実験的証拠によると、この「両極選択」戦略は、最低スコアのサンプルだけを選ぶ素朴な能動学習よりも優れています。その背後にある論理は、最高スコアと最低スコアのサンプルが補完的な学習シグナルを提供するということです。モデルは高スコアのサンプルから「自己評価が正確な良好な状態とは何か」を学び、低スコアのサンプルから「自己認識のバイアスを識別し修正する」ことを学びます。実験結果によると、このメタ認知シグナルに基づくデータ選別手法は、忠実的キャリブレーション指標cMFG*においてランダムサンプリングと能動学習のベースラインを上回り、同時に正確性と事実的キャリブレーションのレベルを維持しました。
数字から言語へ：分離設計がAIに「不確かです」と言わせる
大規模言語モデルの不確実性表現は、最終的には自然言語で表現される必要があり、単に0から1の間の数値だけでは不十分です。論文の2段階アプローチは、このプロセスを明確に分離しています。
第1段階では、RLMFとメタ認知データ選択を通じて、モデルが内部の確信度により近い文レベルの数値的確信度を出力するように学習します。これは、モデルの回答内の各文に、対応する不確実性の数値ラベルが付くことを意味します。
第2段階では、これらの忠実にキャリブレーションされた数値を、自然で文脈に適したヘッジ表現（hedge expressions）にマッピングします。論文では、確信度からヘッジ表現へのマッピング表を構築しました。例えば「かなり確信しています」「私の暫定的な判断では」「この点については確信度が低いです」などです。これは、人間による多数のヘッジ表現の知覚確信度のアノテーションに基づいています。その後、比較的低コストのLLM（実験ではGemini-2.5-Flash-LiteまたはGPT-5-Miniを使用）が、このマッピング表に基づいて元の回答を適切なヘッジ表現を含むバージョンに書き換えます。
この分離設計には非常に実用的な利点があります。第1段階は高価な強化学習の学習に依存しますが、一度実行するだけで済みます。第2段階の言語スタイル、トーン、対象読者への適応は、モデルを再学習することなく柔軟に調整できます。例えば、研究者向けにはより正確な段階的表現を保持し、一般ユーザー向けにはより理解しやすい不確実性表現に変更することができます。
効果と限界：63%の向上と96%の勝率が示すもの
論文では、Qwen3（1.7B、4B、8B）とLlama3.1-Instruct（8B）など複数のモデルで体系的な評価を行いました。主な成果として、以下の数字が注目に値します。
忠実的キャリブレーションタスクにおいて、RLMFは標準的な強化学習と比較して最大63%向上しました。この向上は、PopQAで学習した後、複数のタスクにまたがって評価した結果です。これは全体的な能力の向上を意味するものではなく、正確性の向上を意味するものでもありません。さらに重要なのは、この向上がタスクの正確性や事実的キャリブレーションのレベルを犠牲にして達成されたものではないということです。論文では、いくつかのクローズドソースの最先端モデルに特別なプロンプトを組み合わせた結果も比較しており、RLMFで学習した小規模モデルも忠実的キャリブレーション指標において競争力があることが示されました。
[表1：忠実的キャリブレーション（FC）の結果とベースラインの比較、cMFGによる評価] 青い行は数値的キャリブレーションと言語的キャリブレーションの結果を示し、黄色い行はメタ認知優位性スケーリングを除いた純粋なRLのアブレーション実験を示しています。RLMFはすべてのデータセットで0.80以上のcMFGスコアを達成し、正確性を損なうこともありませんでした。データセットの略称は以下の通りです。PQA（PopQA）、SA（SelfAware）、SQA（SimpleQA）、HE（HaluEval）、MMLU、SQ（SciQ）、MT（MATH）、UM（UMWP）、AC（ARC-Challenge）、SG（SuperGLUE）。
自然言語表現の品質について、論文では体系的な人間による評価を実施しました。評価者はRLMFフレームワークが生成した回答と、最強のベースライン手法（FUT）が生成した回答を比較し、多様性、自然さ、有用性、文脈適合性の4つの次元で採点しました。結果として、RLMFフレームワークはこれらの次元で平均96%の勝率を達成し、評価者間の一致度は0.93に達しました。対照的に、ベースライン手法は明確なパターンの硬直性を示し、特に長文においてヘッジ表現の文型が単調で反復的でした。一方、マッピングと書き換えのアプローチはこの問題を緩和しました。これは、著者が「数値的忠実キャリブレーション」と「言語的書き換え」を2つの段階に分けた理由も説明しています。
[図3：表現された確信度と内的確信度の信頼性チャート、PopQAで評価] 各セルの幅は0.1の内的確信度ビンです。FUTと元のモデルは低い内的確信度で広く失敗していますが、RLMFは全確信度区間で一貫して高い忠実度を示しています。
注目すべき堅牢性の証拠がいくつかあります。RLMFはPopQAという1つのタスクでのみ学習したにもかかわらず、数学、科学、自然言語理解など大きく異なるタスクで汎化能力を示しました。学習タスクの選択（数学的推論や幻覚検出タスクを含む）が、異なる評価タスクにおける忠実的キャリブレーション結果に与える影響は比較的安定しています。さらに、RLMFの学習が進むにつれて、モデルの自己評価の正確さ（Zgで測定）も持続的に向上しました。ここで改めて強調しておきたいのは、これはモデルが自己意識を獲得したことを意味するのではなく、「自身のパフォーマンスを評価する」という操作的なタスクにおいてより優れた性能を示すようになったということだけを意味するということです。
もちろん、この手法には明確な適用限界と計算コストがあります。内的確信度の推定は、同じ質問に対して20回の回答をサンプリングし、その一貫性を計算することに依存しており、計算オーバーヘッドが大幅に増加します。論文でも認められているように、現在の学習は単一のデータセットでのみ行われており、汎化性能は良好ですが、より多様なシナリオでの堅牢性はまだ検証が必要です。さらに、RLMFは言語表現の多様性の最適化において、第2段階の書き換えに依存して補完しており、これは強化学習自体の限界に対する現実的な認識と言えます。
cMFG指標自体も注目に値します。これは、以前の忠実的キャリブレーション評価における問題を修正しています。モデルの内的確信度分布が狭い区間に集中している場合、従来のcMFG指標は忠実度を体系的に過小評価してしまうのです。cMFGは等サンプルサイズのビニングと幅加重積分により、異なるモデル間の比較をより公平にします。全体として、この研究の重点は表現のキャリブレーションにあります。モデルが確信を持っている時も持っていない時も、口にする確信度が自身の状態により近いものになるようにすることです。
📄 原題
Reinforcement Learning with Metacognitive Feedback Elicits Faithful Uncertainty Expression in LLMs
🔗 原文リンク