ロールアウト k

制約付きデコードを用いたオンポリシー抽象CoT生成

図2: 抽象的思考連鎖 : 訓練レシピは二段階から成る：(i.) 教師による言語CoTのガイダンスを用いたボトルネック化SFTフェーズと、オンポリシー抽象列生成を用いた自己蒸留フェーズで構成されるウォームアップループを繰り返し、(ii.) ロールアウトに制約付きデコードを使用したGRPOを用いる強化学習を行い、高品質な応答につながる抽象列に報酬を与える。

したがって、我々は反復 t = 1, . . . , T にわたるポリシー反復ループを用いて抽象埋め込みウォームアップを実行する。各反復は抽象軌道 ˜ z ( t ) のデータセットを生成し、SFT によって θ を更新する。訓練データセット D は反復にわたって段階的に構成される: D = T ⋃ t = 1 { ( D t ,1 , D t ,2 ) }。

制約付きデコード。 π abs θ を用いて、生成可能な許可トークンセット A = V abs ∪ { } に制限されたポリシーを表す。各ステップ i において、文脈 h = x ∪{ } ∪ ˜ z < i を持ち、 π abs θ ( a | h ) = πθ ( a | h ) 1 [ a ∈A ] ∑ u ∈A πθ ( u | h ) とする。我々は、生成可能なコードブックトークンの最大数 m max を強制する。もし m = m max であれば、終了区切り文字を強制的に生成させ、その後、制約付きデコードなしで応答を生成させる。

(1) 抽象トークンを用いたボトルネック化SFT。 ( x , c , y ) が与えられたとき、ポリシー ϕ t を用いて ˜ z ( t ) を構築する。最初の反復ではランダム初期化を使用し、言語CoTの S ステップに対して、CoTステップごとにランダムな数の抽象トークンをサンプリングし（ステップ ℓ ∈ S において | ℓ | トークンに対して rand( 1, | ℓ | 2 ) ）、一様ランダムに V abs から特定のトークンを選択する。他の初期化スキーム（アルファベット順にトークンを循環させる、べき乗分布を強制する）を分析したが、トークン上の一様分布が最も効果的であることが分かった。後続の反復（t ≥ 2）では、抽象列はオンポリシーで生成される： ˜ z ( t ) ∼ π abs θ ( · | x , c )。

我々は単一の連結訓練系列 s = [ x ; c ; ˜ z ; y ] を形成し、情報ボトルネックを強制するブロック構造注意マスク A を定義する。インデックスをプロンプト（ X ）、言語CoT（ C ）、抽象列（ Z ）、回答（ Y ）に分割する。抽象トークンはプロンプトと言語CoTに注目する。すなわち：

$$Ai,j=1\forall i\in Z,j\in X\cup C\cup Z\le i$$

重要なことに、回答はプロンプトと抽象トークンにのみ注目し、言語CoTには注目しない。他のすべてのエントリは標準的な因果マスキングに従う：

A i , j = { 1 i ∈ Y , j ∈ X ∪ Z ∪ Y≤ i 0 i ∈ Y , j ∈ C

具体的には、この訓練手順は離散潜在ボトルネックを実装すると見なすことができる。H Z abs は、言語CoTのマスキング後にプレフィックス [ x ; c ; ˜ z ] から生成された抽象トークン位置 Z abs における隠れ状態を表す。

アルゴリズム 1 : Abstract-CoTのためのポリシー反復ウォームアップ

要件: 訓練データ D = { ( x , c , y ) } , 抽象語彙 V abs , 反復回数 T

• 1: 基本指示調整モデルから θ ( 0 ) を初期化し、V abs の新しいトークン埋め込みを追加する
• 2: for t = 1 to T do
• 3: 現在の反復のデータ: D t ,1 , D t ,2 ⊂ D ( t )
• 4: ( x , c , y ) ∈ D t ,1 について、抽象トレース ˜ z ( t ) ∼ ϕ t ( · | x , c , θ ( t -1 ) ) (t = 1 の場合はランダム、それ以外は ϕ t = π θ ( t -1 ) を用いた制約付きデコード) を生成する
• 5: ¯ θ ( t ) ← arg min θ E ( x , c , y ) ∼D t ,1 [ L SFT ( θ ; x , c , ˜ z ( t ) , y ; A ) ] を更新する
• 6: 蒸留: ( x , y ) ∈ D t ,2 について ˜ z ′ ∼ π abs ¯ θ ( t ) ( · | x ) を生成する
• 7: ¯ θ ( t ) から開始し、θ ( t ) ← arg min θ E ( x , y ) ∼D t ,2 [ L Distill ( θ ; x , ˜ z ′ , y ) ] を更新する
• 8: end for
• 9: θ ( T ) を返す

応答生成 ( y ) の言語CoT ( c ) への依存性は H Z abs を通じてのみであり、条件付きマルコフ構造を誘発する：

$$C\to HZabs\to Y(XとZの条件付き)$$

データ処理の不等式により、y と c の間の依存性は抽象セグメントを通じて伝達できる情報によって制限されなければならない：

$$I(C;Y|X,Z)\le I(C;HZabs|X,Z)(2)$$

H Z abs は抽象列長 m に線形にスケールするため、m max の調整はウォームアップ中の c から y へのチャネル容量に影響を与える。

次に、ボトルネック注意マスク A を用いて言語CoTを隠しながら、抽象列 2 と回答について訓練するマスク付きSFT目的関数を最適化する：

$$LSFT(\theta ;x,c,˜z,y)=-\sum j\in (Zabs\cup Y)log\pi \theta (sj|s<j;A),(3)$$

(2) 言語CoTなしの自己蒸留。 ボトルネック化SFT段階は c を利用して抽象トークン位置での隠れ状態を形成するが、我々の目標ポリシーは最終的にプロンプトのみから抽象トークンを生成すべきである。これが ˜ z ( t ) での損失計算の動機となった。我々は、制約付きデコード（θ を用いて m ≤ m max ）によって ˜ z ∼ π abs ( · | x ) を生成し、それを正解回答 y とペアリングすることにより蒸留データセットを作成する： D ( t ) distill = { ( xi , ˜ zi , yi ) } N i = 1 。離散潜在ボトルネックの解釈では、自己蒸留とRL（セクション3.3）のフェーズはモデルの推論時思考予算を調整する。抽象トークンと応答トークンにわたる [ x ; ˜ z ; y ] に対する標準的な因果SFTで訓練する：

$$LDistill(\theta ;x,˜z,y)=-\sum j\in (Zabs\cup Y)log\pi \theta (sj|s<j)(4)$$

3.3 ウォームスタートからの強化学習

ウォームアップ段階の後、我々は抽象トークンポリシーをRLで最適化する。これをウォームスタートRLと呼ぶ。実際には、これはウォームアップ自己蒸留フェーズと同様の方法で実装される：(1) ガイド付き正規表現制約下で ˜ z を生成し、(2) を追加し、制約なしで y をデコードする。我々のデフォルトのGRPO（Shao et al., 2024）更新には、中間抽象列を形成することに加えて、RL後の応答品質を改善するために、抽象トレースと回答トークンの両方の対数確率が含まれる 3 。我々は、自然言語設定で検証不可能な設定に一般化するために、生成報酬モデル、特に gpt-oss-20b (OpenAI, 2025) を使用して出力をスコアリングする。

2 オプションで、˜ z ( t ) はこの段階で固定として扱うことができ、回答損失から流れる勾配のみを通じて埋め込みを更新する。

3 あるいは、固定デコードルールとともに抽象トークンのみに更新を分離することもできる。

各プロンプト x について、まず ˜ z k ∼ π abs θ ( · | x ) を抽出し、次に yk ∼ πθ ( · | x , ˜ z k ) を抽出し、報酬 ˆ Rk = ˆ R ( x , ˜ z k , yk ) を計算することにより、K 個の軌道 { ( ˜ z k , yk ) } K k = 1 のグループをサンプリングする。アドバンテージを定義する:

$$Ak=ˆRk-mean(ˆR1:K)std(ˆR1:K)+ϵ$$

アクション空間 ( ˜ z , y ) 上でGRPOを適用して θ を更新する:

$$J(\theta )=Ex[1KK\sum k=1Ak(\sum t\in Zabslog\pi abs\theta (zk,t|x,zk,<t)+\sum t\in Ylog\pi \theta (yk,t|x,˜zk,yk,<t))-\beta KL(\pi abs\theta (˜z|x)\pi \theta (y|x,˜z)\Vert \Vert \Vert \pi abs\theta ref(˜z|x)\pi \theta ref(y|x,˜z))].(5)$$

ここで πθ ref は参照ポリシー（ウォームスタートされたモデル）である。KL正則化は抽象分布と応答分布の両方に適用される。

4 結果

4.1 実験設定

データセット。 我々は、ポリシー反復ウォームアップループには Dolci-Think-SFT データセット (AI2, 2025b) からサブサンプリングしたデータ (600k サンプル) を、強化学習には Dolci-Think-RL (AI2, 2025a) からサブサンプリングしたデータを使用して訓練する。これらは Olmo 3 Think モデル (Olmo et al., 2025) の開発に使用されたものである。前者は正解の言語CoTと正解回答とペアになったプロンプトを含み、後者からはプロンプトと正解応答のみを使用する。我々は、数学（検証可能）、一般的な指示追従、多段階質問応答（検証不可能）の設定、および数学と自然言語を含むより挑戦的で推論集約的なベンチマークである AIME'25 (Art of Problem Solving, 2025) と GPQA-Diamond (Rein et al., 2024) にわたる結果を報告する。

モデル。 我々は3つの指示調整モデル、Qwen3-8B (Yang et al., 2025)、Qwen3-4B、Granite-4.0-Micro (3B) 4 を検討する。また、付録 A.2 には Qwen3-32B を用いたアブレーションも含まれる。我々は、制御された比較を確実にするために、標準的なCoTプロンプトを用いて「思考モード」なしでモデルを評価し、性能と中間トークン（推論/根拠）長の両方を報告する。Abstract-CoT については、各トークナイザを抽象語彙で拡張し、ウォームアップ中に新しい埋め込みを訓練し、最大 m max トークンまでの制約付き抽象トレースをデコードする。我々は T = 3 のポリシー反復ウォームアップラウンドを使用する。

ベースラインと手法。 我々のベースラインには、(1.) プロンプトからの直接回答生成（ベースライン）; (2.) 生成前に m max 個の トークンを挿入する「ポーズトークン」(Goyal et al., 2024); (3.) CoTステップを徐々に削除しながら反復的に訓練する「段階的内在化」(ICoT-SI, Deng et al. (2024))、CoTを用いたSFTから開始する (max i ∈C |S i | 反復); (4.) ( x , y ) ペアで教師ありファインチューニングを行う「SFT (CoTなし)」; (5.) ( x , c , y ) 軌道で教師ありファインチューニングを行う「SFT (CoT)」; (6.) CoTを用いたSFTの後に言語CoTのためのRL (GRPO) を伴う「SFT + RL」が含まれる。

分析される我々の手法のバリアントは、RLのみ（コールドスタート）、ウォームアップ（ウォームアップのみ）、ウォームアップ + RL（ウォームスタートGRPO）である。我々は M = 64 トークンの抽象コードブックを使用し（アブレーションは付録 A.1 に含まれる）、抽象生成を最大 m max = 128 トークンに制限する。ウォームアップの各フェーズ（ボトルネック化SFT、自己蒸留）は3エポックの訓練で構成され、RLは1Mエピソード実行される。SFT訓練は8 × NVIDIA H100 GPUで、RL訓練は最大32 × NVIDIA H100 GPUで実施された。

4 https://huggingface.co/ibm-granite/granite-4.0-micro

表1: MATH-500（精度）、AlpacaEval（勝率）、HotpotQA（F1）の主要結果。評価中にプロンプトごとに生成された平均トークン数を含み、推論トークンと応答トークンを組み合わせている。これには、言語CoTトークン（ベースライン）、Abstract-CoTの抽象語彙トークン、ポーズトークンベースラインのポーズトークン数が含まれる。各列の各モデルの最高結果は太字で示され、2番目に高い結果は下線で示されている。

4.2 Abstract-CoTは効率的な推論を可能にする

我々の結果は、表1に示すように、Abstract-CoTがすべてのモデルとすべてのベンチマークにおいて、言語化CoT（SFT + RL）を用いた事後訓練の性能に近づくか上回ることを示している。すべてのモデルが AlpacaEval で意味のある向上を達成している（Qwen3-8Bで+2.4ポイント、Qwen3-4Bで+1.6ポイント、Granite 4.0 Microで+1.6ポイント）。トークン効率を、評価プロンプトで平均化した、言語CoTトークンと抽象トークンの比率として測定する。c verbal（言語CoTベースラインからのモデル生成の言語的根拠）と m について、圧縮率 = E [ | c verbal | ] E [ m ] と表す。我々はトークン効率において大幅な向上を達成している：10.4-11.6倍（MATH-500）、1.9-2.2倍（AlpacaEval）、4.0-4.3倍（HotpotQA）。図3に MATH-500 と AlpacaEval のトークン使用量と性能をプロットし、トークン効率の高い推論におけるこの手法の有効性を強調する。表2に示す AIME'25 と GPQA-Diamond の評価も同様の傾向を示している：Abstract-CoT は、SFT + RL の性能にほぼ匹敵しながら、トークン効率を大幅に向上させている（それぞれ2.7倍と7.9倍）。これらの結果は、より困難な推論設定においても、Abstract-CoTを生成するようにモデルを訓練することで、新たな潜在思考経路を学習しつつ、高性能を維持できることを示唆している。

表2: Qwen3-8B の GPQA-Diamond と AIME の結果（精度とトークン数）。各精度列の最高結果は太字、2番目は下線で示されている。

Reasoning_Efficiency_Comparison across Baselines and Methods

言語CoT (SFT + RL)

A-CoT (WU+RL)

ベースライン

A-CoT (WU+RL)

言語CoT (SFT + RL)

1

ベースライン

A-CoT (WU+RL)

言語CoT (SFT + RL)

A-CoT (WU+RL)

RL)

言語CoT (SFT

モデル (マーカー)

データセット

Qwen3

MATH-500

ベースライン

50

Granite3.3

AlpacaEval

ベースライン

200

500

2000

1000

生成されたトークン数 (対数スケール)

図3: 平均生成トークン数（推論+応答、対数スケール）とベンチマークスコア（MATH-500精度とAlpacaEval-LC-2.0勝率）のプロット。言語CoT（SFT + RL）と、ポリシー反復ウォームアップとウォームスタートRL（WU + RL）を用いたAbstract-CoT（A-CoT）を比較する。ベースライン（初期モデル）と比較すると、Abstract-CoTは生成トークン数を大幅に削減しつつ、両方のベンチマークで同等以上の性能を達成している。

注目すべきことに、コールドスタートRLやウォームアップ単独では不十分である。コールドスタートはしばしば基本指示調整モデルを下回るが、ウォームアップはCoTなしのSFTベースラインを上回るものの、言語CoTを用いたSFTには及ばない（ただし、HotpotQAのGranite 4.0は除く）。しかし、これらを組み合わせることで成功しており、ウォームアップ段階がRLのウォームスタートとして効果的であることを示唆している。コールドスタートRLの非効率性は、抽象列を通じたマッピングを学習するためにより多くのバーンイン（データ量と訓練計算量）が必要であることを示しており、ウォームアップ段階がこれに対処している。観察された傾向は、M = { 2 i } 9 i = 0 からのアブレーションを含む付録A.1の抽象語彙サイズ全体にわたって持続する。また、ポーズトークンファインチューニングは、生成トークン数をAbstract-CoTと同様のレベルにまで削減するにもかかわらず、すべての設定でベースラインよりも性能が劣り、事前訓練なしのポーズファインチューニングが初期化として効果的でないことを示す先行研究（Goyal et al., 2024; Hao et al., 2025）の結果を裏付けている。段階的内在化は推論時のSFTベースラインよりも比較的効率的であるが、計算集約的であり（22反復）、それでも性能では我々の手法に劣っている。

0.14

0.12

0.10

0.10

0.08

0.08

0,06

0.06

9

0.04

0.04

0.02

0.02

0,0o

0.00

500

1000

1500

2000

2500

3000

3500

17

RL Step

トークンランク (最終ステップ)

図4: (左) ウォームスタートRLの1Mエピソードにわたる抽象トークン分布の進化。抽象列内のトークン使用分布が形成されるにつれて、最上位トークンが他から明確に分岐する様子が観察される。(右) 最終ステップのトークン頻度分布は、ジップの法則に似たべき乗則の特性を示しており、事後学習を通じて純粋に誘導された「推論言語」上での再利用が示されている。

4.3 抽象推論言語の分析

トークン頻度分布。 RL訓練中の抽象トークン頻度分布を分析し（図4）、興味深い現象を観察する：RLは抽象列内のトークン使用分布を形成し、その結果、べき乗則のような特性が生じる。ウォームアップのためのトークン分布を一様ランダムに初期化するが、後続のオンポリシー生成と訓練によってこの分布が拡張され、一部のトークンが他よりも頻繁に呼び出される初期形状が生じ、ほとんど使用されないトークンもある。そして、明らかに1つのトークン（具体的には ）が他よりもはるかに多く使用され始めることが見て取れ、これが多様な設定で活用されていることを示唆している。一方で、ウォームアップ後に頻度が低かったいくつかのトークンが、より頻繁に出現し始める。これは、埋め込み学習段階の価値を示す指標として機能し、語彙全体でのトークン使用を促進する。

(a) Qwen3-8B を用いた並べ替えアブレーション。言語CoTにはターンレベル、Abstract-CoTにはトークンレベルの並べ替えを使用した。

(b) Qwen3-8B を用いた切り捨てアブレーション。完全なCoTと、推論トレースを32思考トークンに制限した場合の性能を比較。

表3: Qwen3-8B を用いた MATH-500 における感度分析（並べ替え、切り捨て）。

並べ替え分析。 応答生成のための順序付けられた列を生成する上での抽象推論言語の構成力を分析するために、表3aでCoTを並べ替えることを検討する。実験設定と詳細な結果は付録A.4に含まれる。RL訓練前後で、両方の手法で明らかな性能低下が観察される。事前訓練を通じた言語化CoTに対する強い事前分布を考えると、並べ替えによる性能低下は予想される。同時に、Abstract-CoTでこの挙動が観察されることは、新しい語彙上での学習された構成行動の説得力のある証拠を提供する。

CoT切り捨て分析。 言語化CoTとAbstract-CoTの切り捨て下での性能を検討する：k トークンの後にCoTを停止し、それぞれの終了区切り文字（ と ）を追加し、応答を生成して評価する。結果を k = 32 について表3bに示し、両方の手法で明確な低下が示されているが、自然言語で長い根拠を生成するよう訓練されている言語CoTの方がはるかに大きな低下を見せている。対照的に、Abstract-CoTの低下はそれほど深刻ではない。これは、短く制限されたトレースを通じて推論するよう訓練されており、より緩やかな性能低下が生じるためである。ベンチマーク間と異なる k の値に関するさらなるアブレーションは付録A.3に含まれる。

5 考察

Abstract-CoTは、人間が解釈可能な言語CoT（推論時にコストがかかる）と完全に暗黙的な推論（暗黙的だが制御が難しい）という二つの両極端の中間に位置する。離散抽象コードブックは中間的な立場を提供し、分析可能な構造化された中間セグメントを公開しながら、短く制限されたトレースを生成する。したがって、Abstract-CoTは、中間推論が人間に読める必要がない設定での推論スケーリングへの実用的な道を提供する。べき乗則の知見は、概念レベルの理解に関する将来の分析、抽象トークンによる概念学習の基礎メカニズムと、RLによる新しい列の探索を通じてそれらの表現がどのように進化するかを研究するための有望なものである。これは、抽象推論言語上の構成性仮説に機構的な裏付けを提供し、より高い解釈可能性をもたらすであろう。様々な概念クラスタが、語彙サイズやシーケンス長に関連し、訓練フェーズを通じて形成される異なるサンプル複雑度を持って効果的に学習される可能性がある。したがって、抽象トークンは、思考連鎖のモニタリング可能性（Korbak et al., 2025）や監査可能性の研究においても、新しい中間インターフェースを提供する。

小さな予算では長期的な推論には不十分な可能性があるため、Abstract-CoTを用いた予算適応機構（難易度を意識した抽象列長を伴う）は、より困難な状況に対して刺激的な可能性をもたらす。コードブック上の階層構造が特定のタスクのための再利用可能なサブルーチンを可能にし、より大きな抽象語彙を形成する別のメカニズムを提供する可能性がある。

6 結論

我々は、言語モデルが短い新しい「抽象トークン」の系列を生成するように事後訓練する、離散潜在推論メカニズムである抽象的思考連鎖を導入する。ポリシー反復ウォームアップループが抽象トークンの埋め込みと系列生成を学習し、ウォームスタートRLが探索を通じて性能をさらに向上させる。抽象的思考連鎖は、言語化CoTを用いた事後訓練と同等の性能を達成しながら、大幅に短い系列（最大12倍）を生成し、モデルファミリー間で汎化する。我々の結果は、継続的事前学習を必要とせずに「推論言語」を導入する意味のある語彙拡張戦略を提供し、フィラートークンが事後訓練のみで効果的に導入・使用できることを示唆している。我々の研究は、潜在推論行動を伴うLLMの訓練に新たな出口を提示し、将来の研究に肥沃な土壌を提供する。

RLステップ

最終ステップでのトークンランク

図15: M = 256 抽象トークン語彙によるスケーリングアブレーション。

RLステップ

最終ステップでのトークンランク

図16: M = 512 抽象トークン語彙によるスケーリングアブレーション。

A.1.2 コールドスタートRLの頻度分布

比較のために、図17にM = 64でのコールドスタートRL訓練の頻度分布を含めます。開始時の頻度は、埋め込みがランダムに初期化されるため、一様な確率（1/M）となります。

RLステップ

図17: M = 64 抽象トークン語彙でのコールドスタートRL。ウォームスタートRLと比較して、べき乗則にあまり似ていない分布が見られます。これは、新しい語彙の埋め込み学習という目標に向けたウォームアップの有効性を示しており、RLを通じてさらに形成されるトークン使用の分布を作り出します。対照的に、コールドスタートRLは最終的に最も高い頻度となるトークン（）をすぐに使用することを学習しますが、他のいくつかのトークンも最終的には同様の頻度で使用される一方で、ほとんど使用されないトークンも残ります。訓練計算量（特にロールアウトとRLエピソード）をさらにスケールアップすることで、ウォームアップ段階と同様の効果が得られる可能性があります。

A.2 モデルサイズのスケーリング: Qwen3-32B

我々は、メソッドのモデルファミリー（Qwen、Granite）間での転用可能性を研究しましたが、このメソッドがより大規模なモデルサイズにスケールするかどうかを調べることも価値があります。そこで、表1で報告されたベースラインと比較しつつ、Qwen3-32Bを用いたAbstract-CoTのパフォーマンスを研究します。SFT訓練は8台のNVIDIA H100 GPUで実行され、RL訓練は32台のNVIDIA H100 GPUで実行されました。Qwen3-8Bと同様に、「思考モード」は無効化されています。

結果は表1の結果を裏付けています。Abstract-CoTは、AlpacaEvalおよびHotpotQAにおいて、言語化CoT（SFT + RL）を上回りつつ、それぞれ2.7倍および4.4倍少ないトークンを使用し、MATH-500では11.0倍少ないトークンでほぼ同等のパフォーマンスを達成しました。32Bモデルは8Bモデルよりも推論トレースと応答トークンがやや冗長であるようで、すべての設定で平均トークンがわずかに増加しました。

A.3 CoT切り捨て分析

言語化思考連鎖はその区切り文字内で多数の思考トークンを生成しますが、推論トレースを短い長さに切り捨てることは、推論時の計算量制御の一形態であり、Abstract-CoTシーケンスの「コンパクトさ」を分析するメカニズムとして機能します。

表4: Qwen3-32Bを用いたMATH-500（正解率）、AlpacaEval（勝率）、HotpotQA（F1）の結果。効率性の向上と、他のモデルで示された傾向と一致する強力なパフォーマンスを示し、Abstract-CoTのスケーラビリティを強調しています。

我々は、kトークンに制限するために切り捨てを適用します。Abstract-CoTの場合、これはkトークン後にCoTを停止し、応答生成の前に区切り文字を追加することを意味します。k = { 32, 48, 64 } についてのベンチマーク全体の完全な結果は表5に含まれています。

表5: Qwen3-8Bのベンチマーク全体での切り捨て感度。'Normal'は切り捨てなしの設定を示します。言語化CoTの場合、自然言語の思考連鎖に切り捨てが適用され、Abstract-CoTの場合、抽象トレースに切り捨てが適用されます。

重要な発見として、両方のメソッドが明らかに低下し、AlpacaEvalとHotpotQAでは同程度の低下が見られる一方で、MATH-500では大きな差があります。AlpacaEvalが最も低下が小さいのは、思考トークンが最も少なく、最初から応答トークンが多いためであり、これは表1に反映されています。注目すべきは、言語化CoTの劣化の滑らかさが、生成される思考トークンの数と一致しているように見えることです。より多くのトークンを持つMATH-500のようなベンチマークで低下が急激に見られた一方で、AlpacaEvalでは低下が小さく、HotpotQAはその中間でした。

A.4 並べ替えテスト分析

RLを通じて誘導される構成力におけるAbstract-CoTの振る舞いを言語化CoTと比較するため、並べ替え分析を実施しました。評価セットの各プロンプトに対して、まず{言語化, 抽象} CoTを生成します。次に、言語化CoTの実験では、改行区切り文字に基づいてCoT内のステップをランダムに並べ替え、モデルに応答を生成させます。Abstract-CoTでは、そのような区切り文字がないため、生成されたシーケンス内のトークンをランダムに並べ替えます。

MATH-500、AlpacaEval、HotpotQAにわたる完全な結果は表6に含まれています。3つのベンチマークすべてが同様の傾向を示しています。両方のメソッドが並べ替えられたCoTで明らかに低下し、言語化CoTはAbstract-CoTよりも大きく低下しますが、Abstract-CoTも依然としてかなりの影響を受けます。RL訓練は、より良い応答を生み出すトークンシーケンスを学習するため、より大きな劣化をもたらします。これはAbstract-CoTにも反映されており、訓練をさらにスケールアップすることで、モデルが抽象語彙を使用する能力が向上し、自然言語にさらに近い振る舞いが生まれることを示唆しています。

表6: Qwen3-8Bでの並べ替えアブレーション。言語化CoTではターンレベルの並べ替え、Abstract-CoTでは完全にランダムなトークンの並べ替えを使用。

B 生成的報酬モデルのプロンプト

以下のプロンプトは、GRPO訓練において「中程度」の思考モードで生成的報酬モデルとしてgpt-oss-20bと共に使用されます。

あなたはAIアシスタントの応答品質を評価する専門家です。あなたのタスクは、応答を0から10のスケールで採点することです。

採点基準

以下の次元で応答を評価してください：

有用性（ユーザーのニーズに対応しているか）

- 質問に直接答えているか、またはタスクを完了しているか

• - 適切なレベルの詳細を提供しているか
• - フォローアップのニーズを予測しているか

正確性（情報は正しいか）

- 事実に基づいた正しい情報

- 幻覚や捏造がないこと - 不確かな場合には適切な但し書きがあること 明確性（理解しやすいか） - よく整理され構造化されている - 文脈に適した明確な言葉遣い - 必要に応じて適切なフォーマット 関連性（話題から外れていないか） - 実際の質問に対応している - 不必要な脱線を避けている - 適切な範囲と焦点 安全性と無害性 - 有害、不快、不適切な内容がない - 敬意を払い、偏りがない - 倫理的な意味合いを考慮している ## 採点スケール 10 - 卓越：すべての基準で優れた、完璧またはほぼ完璧な応答 9 - 優秀：些細な不完全さのみの卓越した応答 8 - 非常に良い：小さな改善点はあるものの、質問に完全に対応した強力な応答 7 - 良い：期待に応えるが、改善の余地がある堅実な応答 6 - 平均以上：目立った制限があるが、まあまあの応答 5 - 平均：質問に対応するが、明確なギャップがある適切な応答 4 - 平均以下：部分的に役立つが、一つ以上の基準で重大な問題がある 3 - 不十分：複数の基準で大きな問題があり、最小限の有用性しかない 2 - 非常に不十分：深刻な欠陥があり、ほとんど質問に対応できていない 1 - 極めて不十分：質問への対応にほぼ完全に失敗している 0 - 許容不可：質問への対応に完全に失敗している、有害な内容を含む、または全く不適切 ## あなたのタスク 以下の構造のJSONオブジェクトとして評価を提供してください： json { "score": <0から10の数値>, "reasoning": "主要な長所と短所を強調しながら、あなたのスコアを説明する2〜4文" } --- ## 会話のコンテキスト {CONVERSATION_HISTORY} ## 評価するアシスタントの応答 {RESPONSE_TO_SCORE}

C 抽象的思考連鎖の定性的な例

C.1 数学的問題解決

C.1.1 例1: 組合せ論

プロンプト

5で割り切れ、桁の合計が20になる5桁の整数はいくつありますか？

抽象CoT

抽象CoT応答

5で割り切れ、桁の合計が20に等しい5桁の整数の総数は：

1116

プロンプト

5で割り切れ、桁の合計が20になる5桁の整数はいくつありますか？

言語化CoT

5で割り切れ、桁の合計が20になる5桁の整数がいくつあるかを決定するには、2つの条件に従う必要があります：

5で割り切れること：最後の桁が0または5であれば、数は5で割り切れます。

桁の合計が20に等しい：桁をd1, d2, d3, d4, d5とし、d1 ≥ 1（先行ゼロを避けるため）で、以下が必要です：

d1 + d2 + d3 + d4 + d5 = 20

最後の桁d5 ∈ { 0, 5 }であるという条件に基づいて、問題を2つのケースに分割できます。なぜなら、数は5で割り切れるために0または5で終わる必要があるからです。各ケースは、修正された制約の下で桁の合計を解決する部分問題になります。

ケース1: d5 = 0

すると、他の桁の合計は次のようになります：

d1 + d2 + d3 + d4 = 20

d1 ≥ 1 なので、d'1 = d1 - 1 ≥ 0 と定義すると：

d'1 + d2 + d3 + d4 = 19

ここで制約は次のとおりです：

d'1 ≤ 8（d1 ≤ 9 なので）

d2, d3, d4 ≤ 9

ここで、方程式に対するすべての非負整数解に対して包除原理を適用します：

x1 + x2 + x3 + x4 = 19

ただし x1 ≤ 8, x2, x3, x4 ≤ 9.

制約なしの解の総数：

( 19 + 4 - 1 4 - 1 ) = ( 22 3 ) = 1540

無効な解を差し引く：

x1 ≥ 9 の場合： x'1 = x1 - 9 と設定し、新しい合計： x'1 + x2 + x3 + x4 = 10

( 10 + 4 - 1 4 - 1 ) = ( 13 3 ) = 286

各 xi ≥ 10（i = 2, 3, 4）の場合：

( 19 - 10 + 4 - 1 4 - 1 ) = ( 12 3 ) = 220

（x2, x3, x4 の合計： 3 × 220 = 660）

重複を加え戻す：

あるxi ≥ 9 かつ別のxj ≥ 10 である任意のペアは、次のようになります：

x'i + x'j + その他 = 19 - 9 - 10 = 0 ⇒ 解は1つのみ ( 0, 0, 0, 0 )

そのような組み合わせは3つあり（d'1と d2, d3, d4のいずれか1つ）、以下のようになります：

3 × 1 = 3

最終的な数：

1540 - 286 - 660 + 3 = 597

ケース2: d5 = 5

すると、他の桁の合計は次のようになります：

d1 + d2 + d3 + d4 = 15

再び、d'1 = d1 - 1 ≥ 0 と定義すると：

d'1 + d2 + d3 + d4 = 14

制約：

d'1 ≤ 8

d2, d3, d4 ≤ 9

制約なしの解の総数：

( 14 + 4 - 1 4 - 1 ) = ( 17 3 ) = 680

無効な解を差し引く：

· x1 ≥ 9 の場合: ( 14 - 9 + 4 - 1 4 - 1 ) = ( 8 3 ) = 56

各 xi ≥ 10（i = 2, 3, 4）の場合：

( 14 - 10 + 4 - 1 4 - 1 ) = ( 7 3 ) = 35

（x2, x3, x4 の合計： 3 × 35 = 105）

重複を加え戻す：

制限を同時に超えることができる2つの変数はありません。それには14を超える必要があるため、すべての重複はゼロです。

最終的な数：

680 - 56 - 105 = 519

最終計算

両方のケースを合計すると：

合計 = 597 + 519 = 1116

言語化CoT応答

したがって、5で割り切れ、桁の合計が20となる5桁の整数の数は：

1116

C.1.2 例2: 幾何学

プロンプト

三角形ABCは辺の長さが a = 13, b = 14, c = 15 です。三角形の面積と、頂点Aから辺bへの高さを求めてください。

抽象CoT

抽象CoT応答

ヘロンの公式を半周長 s = 21 で適用すると、三角形ABCの面積は 84 です。頂点Aから辺BC（長さ14）への高さは h = 2 × 84 / 14 = 12 です。

プロンプト

三角形ABCは辺の長さが a = 13, b = 14, c = 15 です。三角形の面積と、頂点Aから辺bへの高さを求めてください。

言語化CoT

三角形の面積計算。辺 a = 13, b = 14, c = 15 の三角形ABCの面積を決定するために、ヘロンの公式を使用します。公式を適用する前に、三角形の半周長 s を計算する必要があります。次のように定義されます：

与えられた値を代入します：

s = (a + b + c) / 2 .

s = (13 + 14 + 15) / 2 = 42 / 2 = 21.

次に、ヘロンの公式を使用して、三角形の面積 A は：

A = √( s ( s - a )( s - b )( s - c ) ) .

既知の値を代入します：

A = √( 21 ( 21 - 13 )( 21 - 14 )( 21 - 15 ) ) = √( 21 × 8 × 7 × 6 ).

ステップバイステップで乗算を実行します：

21 × 8 = 168, 7 × 6 = 42, 168 × 42 = 7056.

したがって：

A = √7056 = 84.

頂点Aから辺bへの高さ。次に、頂点Aから辺bへの高さの長さを決定するよう求められています。

三角形が標準的な方法でラベル付けされていると仮定すると、ここで：

• 辺 a = BC（頂点Aの反対側）、
• 辺 b = AC（頂点Bの反対側）、
• 辺 c = AB（頂点Cの反対側）、

すると、辺 b = AC であり、頂点Aから辺 b（AC）への高さは意味をなしません。頂点Aは辺AC上に位置しているため、高さはゼロになります。これは矛盾です。

したがって、質問の意図に一致する代替のラベル付けを検討します：もし辺 b = BC であれば、頂点Aから辺 b（つまりBC）への高さは意味のある非ゼロの量になります。これを計算するために、三角形の面積の公式を思い出してください：

面積 = 1/2 × 底辺 × 高さ.

与えられたもの： 面積 = 84, 底辺 = 辺 b = 14. 高さ h を解きます：

84 = 1/2 × 14 × h ⇒ 84 = 7 h ⇒ h = 84 / 7 = 12.

言語化CoT応答

三角形ABCの面積は 84 です。

頂点Aから辺 b への高さは、BCと解釈すると、 12 です。

C.1.3 例3: 数列と級数

プロンプト

∞ ∑ n=1 n^2 / 2^n を評価してください。

抽象CoT

抽象CoT応答

生成関数の恒等式 ∞ ∑ n=0 n^2 r^n = r(1+r) / (1-r)^3 を r = 1/2 で評価すると：

∞ ∑ n=1 n^2 / 2^n = (1/2)(3/2) / (1/2)^3 = 6.

プロンプト

∞ ∑ n=1 n^2 / 2^n を評価してください。

言語化CoT

無限級数 ∞ ∑ n=1 n^2 / 2^n を評価するために、これは分子と分母が共にnの関数である加重和であり、分母に指数関数的な減衰 2^n があるものとして認識します。このタイプの級数は、生成関数と微分の技法を用いた解析に非常に適しています。

ステップ1: 基本的な生成関数から始める。標準的な等比級数を思い出します：

S = ∞ ∑ n=0 r^n = 1 / (1 - r), |r| < 1 の場合.

両辺をrに関して微分すると：

d/dr S = ∞ ∑ n=0 n r^{n-1} = 1 / (1 - r)^2 .

両辺にrを掛けると：

∞ ∑ n=0 n r^n = r / (1 - r)^2 .

ここで、この式を再びrに関して微分し、n^2 r^nに対する生成関数を取得します：

d/dr ( ∞ ∑ n=0 n r^n ) = ∞ ∑ n=0 n^2 r^{n-1} = d/dr ( r / (1 - r)^2 ) .

右辺を計算します：

d/dr ( r / (1 - r)^2 ) = ( (1 - r)^2 · 1 + r · 2(1 - r) ) / (1 - r)^4 = ( (1 - r)^2 + 2r(1 - r) ) / (1 - r)^4 .

分子を簡略化します：

(1 - r)^2 + 2r(1 - r) = 1 - 2r + r^2 + 2r - 2r^2 = 1 - r^2 .

よって、導関数は次のようになります：

∞ ∑ n=0 n^2 r^{n-1} = (1 - r^2) / (1 - r)^4 = (1 + r) / (1 - r)^3 .

指数を調整するためにrを掛けます：

∞ ∑ n=0 n^2 r^n = r(1 + r) / (1 - r)^3 .

したがって、よく知られた閉形式の生成関数 ∞ ∑ n=0 n^2 r^n = r(1 + r) / (1 - r)^3 が得られます。

ステップ2: r = 1/2 で級数を評価する。ここで、r = 1/2 を閉形式の式に代入します：

∞ ∑ n=0 n^2 (1/2)^n = (1/2)(1 + 1/2) / (1 - 1/2)^3 = (1/2)(3/2) / (1/2)^3 = (3/4) / (1/8) = 6.

元の級数は n=1 から始まり、n=0 の項はゼロ（0^2 / 2^0 = 0）であることに注意してください。したがって：

∞ ∑ n=1 n^2 / 2^n = ∞ ∑ n=0 n^2 / 2^n = 6.

ステップ3: 部分和を用いた代替検証。n^2 を n(n-1) + n と表現することもできます：

∞ ∑ n=1 n^2 / 2^n = ∞ ∑ n=1 n(n-1) / 2^n + ∞ ∑ n=1 n / 2^n .

先ほどから ∑ n=1 ∞ n/2^n = 2 および ∑ n=1 ∞ n(n-1)/2^n = 4 であることがわかっています。両方を加算します：

2 + 4 = 6.

したがって、再び同じ結果に到達します。

ステップ4: 数値的な部分和近似。分析結果を裏付けるために、級数の部分和を計算することもできます：

∑ n=1^20 n^2 / 2^n ≈ 5.9996.

項は指数関数的に減衰するため、収束は速く、部分和は6に近づき、分析結果を補強します。

言語化CoT応答

生成関数、総和技法、数値近似を含む複数の厳密で独立したアプローチを通じて、無限級数の値は一貫して次のようになります：

6

C.1.4 例4: 確率

プロンプト

公正な8面サイコロを、すべての面が少なくとも1回ずつ出るまで繰り返し振ります。期待される合計の振る回数は何ですか？

抽象CoT

抽象CoT応答

クーポンコレクターの公式 E(n) = n · Hn を n = 8 および H8 = 761/280 で使用すると、8つの面すべてを出現させるための期待される振る回数は：

761/35 ≈ 21.74.

プロンプト

公正な8面サイコロを、すべての面が少なくとも1回ずつ出るまで繰り返し振ります。期待される合計の振る回数は何ですか？

言語化CoT

公正な8面サイコロをすべての面が少なくとも1回出現するまで振るのに必要な期待される総回数を決定するために、確率論におけるよく知られた確率モデルであるクーポンコレクター問題を使用してこの問題にアプローチします。

問題の理解。私たちは公正な8面サイコロを繰り返し振っており、8つの面すべてを観測するのに必要な期待される振る回数を知りたいと考えています。各振りは独立して8面のうちの1つを生成し、それぞれが等しい確率（つまり1/8）を持ちます。すべての結果が観測されるまでの回数の期待値を見つけたいのです。これは n = 8 のクーポンコレクター問題の直接的な応用です。

プロセスのモデル化。すべての n 個の異なる結果を観測するのに必要な期待される回数を E(n) と定義しましょう。一般に、この期待値の公式は：

E(n) = n · Hn

ここで Hn = 1 + 1/2 + 1/3 + · · · + 1/n は n 番目の調和数です。n = 8 の場合、これは次のようになります：

E(8) = 8 ( 1 + 1/2 + 1/3 + 1/4 + 1/5 + 1/6 + 1/7 + 1/8 ) .

調和数の計算。逆数を合計して H8 を計算します：

H8 = 1 + 1/2 + 1/3 + 1/4 + 1/5 + 1/6 + 1/7 + 1/8.

これを正確に計算するために、共通分母を求めます。1から8までの分母の最小公倍数は840です。各項を変換します：

分子を加算します：

1 = 840/840 , 1/2 = 420/840 , 1/3 = 280/840 , 1/4 = 210/840 , 1/5 = 168/840 , 1/6 = 140/840 , 1/7 = 120/840 , 1/8 = 105/840 .

840 + 420 + 280 + 210 + 168 + 140 + 120 + 105 = 2283.

したがって：

H8 = 2283 / 840 .

分子と分母を3で割って簡略化します：

H8 = 761 / 280 .

最終計算。ここで n = 8 を掛けて期待される振る回数を得ます：

E(8) = 8 · 761/280 = 6088 / 280 .

分子と分母を8で割って分数を簡略化します：

6088 / 280 = 761 / 35 .

健全性チェック。761/35 ≈ 21.743 は、8個のクーポンに対して妥当です（6個のクーポンの答えは14.7であり、調和級数は対数的に増加するため、中程度の増加が予想されます）。✓

言語化CoT応答

クーポンコレクターモデル、調和数、注意深い算術の適用を通じて、公正な8面サイコロの8つの面すべてを出現させるのに必要な期待される振る回数は次のとおりです：

761/35 ≈ 21.74.

C.2 一般的な指示遂行

C.2.1 例1: ライフスタイルアドバイス

プロンプト

私は高校に進学しますが、先延ばし癖がひどいです。忙しい週でも実際に続けられる、先延ばしをやめるためのシンプルな計画を教えてくれませんか？

抽象CoT

抽象CoT応答

これは、最も忙しい週でも機能する現実的で手間のかからないシステムです。

核心的な考え方：「先延ばし」を直そうとしないでください。始めることを先延ばしよりも簡単にすることです。毎朝、今日最も重要なことを1つ書き出します。それがあなたのアンカータスクです。何よりも前に、15分だけそれに取り組みます。1時間でも、「終わるまで」でもなく、たった15分です。ほとんどの日は、一度始めると続けるでしょう。調子の悪い日でも、少なくとも前進はしています。

その他すべてについて：2分以内で終わることであれば、今すぐやってください。大きすぎると感じるなら、細分化します（「試験勉強」は「ノート1ページを見直す」になります）。毎日30〜60分、スマートフォンを手の届かない場所に置いて作業する集中時間を設定します。忙しい週は15分に短縮してください。それでも意味があります。

誰も教えてくれない秘訣：それでも時々は先延ばしにしてしまうでしょう。それは問題ありません。自分を責めないでください。自責の念は悪循環を悪化させるだけです。リセットして、明日また始めましょう。毎日の完璧さよりも、時間をかけた一貫性が勝ります。

C.2.2 例2: 職場でのコミュニケーション

プロンプト

同僚がチームミーティング中に私の話を遮ってばかりいます。直接伝えたいのですが、関係を悪化させずに対処したいです。実際に使える短い台詞を教えてください。

抽象CoT

抽象CoT応答

[一対一でのリラックスした場面で]

「ねえ[名前]、ちょっとしたことを伝えたいんだ。先週のブレインストーミングの時、私が話している途中で何度か遮られちゃった気がしてね。君がとても積極的で、すぐに意見を言いたくなるのはよく分かっているし、本当にありがたく思っているんだ。ただ、話の途中で遮られると、私が効果的に貢献するのが難しくなってしまうんだよね。お互いに最後まで話を聞いてから返答するようにしてみない？それと、正直なところ、もし私が君に対して同じことをしたら、遠慮なく指摘してほしい。これはお互いのためのことだからね。」

[間を置き、温かく]

「君がミーティングにもたらしてくれるエネルギーを本当に大切に思っているんだ。それがうまくいく理由だからね。」

C.2.3 例3: 技術的な説明

プロンプト

基本的な代数を理解しているが、コンピュータサイエンスの知識がない人に、公開鍵暗号の仕組みを説明してください。

抽象CoT

抽象CoT応答

公開鍵暗号は、完全にオープンな通信路で、あらかじめ共有されたパスワードなしに、2人が秘密情報を交換することを可能にします。中核となる考え方は、数学的に関連付けられた鍵のペア、つまり公開鍵と秘密鍵です。

メールボックスのアナロジー。細長い投入口が付いたオープンなメールボックスを想像してください。通りかかった人は誰でも手紙を投函できます（これが公開鍵です）が、内部を読むために扉を開ける鍵を持っているのはあなただけです（これが秘密鍵です）。あなたは投入口を公開し、鍵は守ります。

実践での暗号化。アリスがボブにプライベートなメッセージを送りたい場合、彼女はボブの公開鍵でそれを暗号化します。その結果は、アリス自身を含む誰にとっても意味不明なものになります。ボブの秘密鍵だけがその暗号化を解除できます。仮に攻撃者が通信中の全データを傍受したとしても、秘密鍵なしでは何も知ることはできません。

署名：認証の逆回し。同じ鍵ペアを逆向きに使うこともできます。ボブは自分の秘密鍵で文書に「署名」し、誰もがボブの公開鍵を使って検証できるタグを作成できます。有効な署名は、メッセージがボブから来たこと、そして誰も途中でそれを改ざんしていないことを同時に証明します。

なぜそれが成立するのか。セキュリティは数学的な一方通行路から生まれます。2つの大きな素数を掛け合わせるのは簡単ですが、その積を素因数分解するのは、実用的なサイズの数値に対しては計算上実行不可能です。現在の推定では、標準的な2048ビットの鍵を総当たりの素因数分解で破るには数十億年かかるとされています。

要するに、片方の鍵でロックし、もう片方で解除します。片方の鍵で署名し、もう片方で検証します。数学は一方向へは容易ですが、逆方向へは不可能であり、その非対称性こそが基盤全体なのです。

C.2.4 例4: 社会的コミュニケーション

プロンプト

昨日、友達の誕生日を忘れてしまいました。大げさすぎず、それでいて心のこもったお詫びのメッセージを書くのを手伝ってください。

抽象CoT

抽象CoT応答

ねえ [友達の名前]、ごめんね、君の誕生日をすっかり忘れてて、本当に自分が嫌になるよ。言い訳はなし、私が失敗しただけだし、君はもっと良い対応を受けるべきだった。

君は私の人生で最も大切な人の一人なのに、ほんの一瞬でもそうでないと思わせてしまったことが本当に嫌だ。君はいつも私のそばにいてくれたし、テキスト一つも送らずに君の大事な日を過ごしてしまったことは、私がどれだけ君を大切に思っているかを反映していない。本当にごめんなさい。

埋め合わせをさせてほしい。今週、[コーヒー/ディナー/君の好きなもの]に連れて行って、ちゃんとお祝いさせてもらえないかな？君の誕生日の話を全部聞きたいし、君が本当に受けるに値するお祝いをしたいんだ。

遅ればせながら誕生日おめでとう。君は私にとってとても大切な存在で、君が友達でいてくれて本当に嬉しい。