Google ResearchがCappyをリリース：3.6億パラメータの小規模モデルでマルチタスク大規模言語モデルの性能を向上

編集：馬青禾

画像：秦明理

レイアウト：蘇雅韻

プレスリリース入口：https://news.zhenrobot.com

Google ResearchがCappyをリリース：3.6億パラメータの小規模モデルでマルチタスク大規模言語モデルの性能を向上

Google Researchは最近、Cappyと名付けた新しい手法を発表しました。これはマルチタスク大規模言語モデル（LLM）向けの軽量スコアリングモデルであり、大規模モデルのパラメータを直接ファインチューニングすることなく、マルチタスクシナリオにおける性能と適応効率を向上させることを目的としています。実験によれば、Cappyはわずか3.6億のパラメータで、複数の言語理解タスクにおいてOPT-175BやOPT-IML-30Bを上回り、既存の主流マルチタスクモデル（T0-11BやOPT-IML-175Bなど）と同等の精度を達成しました（出典：research.google）。

中国のAI開発者にとって、この研究が示す重要なメッセージは明確です。「より大きなモデル」を追求するだけでなく、「スコアリング、フィルタリング、再ランキング」といった小規模モデルとの協調メカニズムが、大規模モデルの能力向上と実用化コスト削減における重要なアプローチになりつつあります。

マルチタスク大規模言語モデルが直面する効果とコストの二重の課題

近年、LLMは自然言語処理を「指示追従（インストラクション・フォローイング）」を中核とする新たなパラダイムへと導きました。T0、FLAN、OPT-IMLに代表されるマルチタスクモデルは通常、異なるタスクを「指示ー回答」形式のデータに変換し、入力された指示に基づいて回答を生成するようモデルを訓練します。このような手法は、訓練中に見たタスクだけでなく、新しいタスクにもある程度汎化できることが実証されています。

しかし、このパラダイムは明らかな問題ももたらしています。モデルは大量の異なる種類のタスクを理解して実行する必要があるため、指示のみで統一的なモデリングを行うのは難しく、マルチタスクLLMは数十億から数千億のパラメータを持つことが多くあります。例えば、FLAN-11B、T0-11B、OPT-IML-175B、さらには更大規模なFLAN-PaLM-540Bなどです。このような規模は、訓練と推論の双方で大量の計算資源とビデオメモリ（VRAM）を必要とすることを意味し、展開コストが高く、適応効率も限定的です。

さらに、能力の最も高い一部のマルチタスクモデルはパラメータを公開しておらず、開発者が直接改造することは困難です。現実の応用においても、単一モデルがゼロショット（zero-shot）条件で複雑なすべてのタスクを安定してカバーすることは難しく、特にパーソナライズされたタスクや簡潔な指示で記述しにくいタスクでは顕著です。同時に、下流タスクの教師データが不足しがちであり、個別にタスクモデルを訓練しても大規模モデルの持つ既存の知識を十分に活用することは困難です。

Cappyの核心理念：小規模モデルに「回答の採点」を学ばせる

Cappyは新たな生成的な大規模モデルではなく、スコアリングモデルです。その入力は「指示ー回答」のペアであり、出力は0から1までのスコアで、その回答が指示に対してどの程度正しいかを推定します。

この設計の鍵は、Cappy自身が直接回答を生成するのではなく、「どの回答がより優れているか」を判断するよう学習することにあります。エンジニアリングの観点から見れば、これは大規模モデルの外部に軽量な品質評価レイヤーを追加し、より低いコストでシステムがより良い結果を選択できるように支援するか、下流タスクでより効率的に適応を完了することに相当します。

訓練データの構築：弱教師あり回帰データから正確性判断を学習

データ構築において、Google ResearchはT0と同じソースからのマルチタスクデータセットを再利用しました。これにはPromptSourceに由来する39の多様なデータセットが含まれ、質問応答、感情分析、要約など多様なタスクタイプを網羅しています。各データセットはテンプレートを通じて指示と標準回答のペアに変換されます。

Cappyは「回答の正確性」の連続スコアを学習する必要があるため、研究チームはさらに正確性アノテーション付きの回帰データを構築しました。具体的には、各生成タスクサンプルに対して、まず既存のマルチタスクLLMを用いて同じ指示に基づき複数の回答をサンプリングし、生成しました。次に、それらの回答と標準回答を比較し、Rouge-Lを用いて両者の類似度を計算し、0から1までの弱教師信号として使用しました。

最終的に、チームは約1.6億件のスコアアノテーション付き回帰訓練サンプルを取得し、RoBERTaモデルをベースに継続的な事前訓練を行うことで最終的なCappyを得ました。訓練プロセス全体はGoogleのTPU-v4上で実行され、軽量な分散訓練ツールであるRedCoastが使用されました。

一般的な適応手法と比較して、Cappyはより少ないVRAMで済み、クローズドソースモデルに適している

適応方式の観点から見ると、Cappyは長年存在する業界の課題、すなわちLLMを大規模に改造することなく、下流の教師ありデータを活用してタスク性能を向上させる方法に対処するものです。

プロンプトチューニングやアダプターのような既存のパラメータ効率の良いファインチューニング手法は、ストレージコストを削減しますが、訓練プロセス中に大規模言語モデルのパラメータパスに対して逆伝播を行う必要があることが多いため、依然として高いVRAMオーバーヘッドが発生します。もう一つの手法である文脈内学習は、入力に少数のサンプルを結合してモデルを誘導しますが、コンテキスト長の制限により、利用できる訓練サンプル数は少なくなります。

Cappyの利点は、LLMのパラメータに対する逆伝播を必要とせず、基盤モデルの重みへのアクセスにも依存しないことです。そのため、Web APIのみでサービスを提供するクローズドソースのマルチタスクモデルと組み合わせて使用できます。文脈内学習と比較して、Cappyはモデルの最大入力長の厳格な制約も受けず、理論上は無制限の数の下流訓練サンプルを統合できます。

研究チームはさらに、Cappyは単独で使用できるだけでなく、ファインチューニングや文脈内学習と組み合わせて全体の性能をさらに向上させることも可能であると指摘しています。

評価結果：3.6億パラメータモデルが主流マルチタスク大規模モデルの水準に到達

PromptSourceが提供する11個の、訓練に不参加の言語理解分類タスクにおいて、Cappyは非常に高いパラメータ効率を示しました。実験結果によれば、3.6億パラメータを持つCappyはOPT-175BおよびOPT-IML-30Bを上回り、現在最高性能のマルチタスクLLMであるT0-11BやOPT-IML-175Bと同等の精度を達成しました。

この結果は、スコアリングに基づく事前訓練戦略が独自の価値を秘めている可能性を示しています。従来のマルチタスクLLMが主にteacher-forcing（ティーチャー・フォーシング）による訓練に依存し、標準回答のみを学習するのとは異なり、Cappyは訓練中に高品質と低品質の回答を明示的に区別し、より強力な対比信号を導入しています。この「善し悪しを判断できる」能力が、より小さなパラメータ規模で競争力のある性能を発揮する重要な要因となっています。

注目すべき点として、論文内ではCappyを事前訓練済みのRLHF報酬モデル（人間のフィードバックに基づく強化学習の報酬モデル）と比較しており、結果はその全体的な性能が既存のマルチタスクモデル中のトップ層に属することを示しています。

複雑なBIG-Benchタスクにおいて、CappyはFLAN-T5の性能を顕著に向上

標準的な言語理解タスクに加えて、研究チームは複雑なタスクに対するCappyの適応能力もテストしました。実験ではBIG-Benchの45個の生成的タスクが選ばれました。これらのタスクは事前の選択肢がなく、多くのLLMの基礎能力の範囲を超える高難度タスクと一般に見なされています。評価指標にはRouge-Lが採用され、全45個のテストセットの平均スコアが集計されました。

この実験では、異なる規模のFLAN-T5をバックボーンLLMとして使用し、同時に基礎版FLAN-T5のパラメータは固定して変更せずに維持しました。結果は、Cappyがすべてのモデル規模においてFLAN-T5の性能を継続的に向上させ、モデル自身のスコアリングに依存するベースライン手法を顕著に上回ることを示しています。ここで言う「自身のスコアリング」とは、LLMのクロスエントロピーを使用して候補回答を選択することを指します。

これは、Cappyが通常のベンチマークで有効であるだけでなく、複雑な生成タスクにおいても強力な増強効果を持つことを意味します。エージェント、複雑なワークフロー、タスク分解に関心のある開発者にとって、この点は特に注目に値します。現実の応用における多くの問題は、標準的な分類問題よりもむしろBIG-Benchのようなオープンエンドの複雑なタスクに近いからです。

開発者への示唆：小型スコアリングモデルが大規模モデル実用化の新たなインフラになる可能性

Cappyの意義は「小をもって大を制する」ことだけでなく、従来のファインチューニング路線とは異なる製品化のアプローチを提供している点にあります。これまで業界はより大きな生成モデルを訓練する方法や、大規模モデル本体を低コストでファインチューニングする方法に多くの関心を払ってきました。しかしCappyは別の路線を示しています。独立したスコアラー（採点器）を通じて、大規模モデルに選択、フィルタリング、タスク適応の能力を提供するという路線です。

スタートアップ企業や応用チームにとって、この手法には以下のような現実的な価値があります。第一に、VRAMや訓練資源への依存を減らし、適応のハードルを下げることができます。第二に、クローズドソースのAPIモデルにも対応でき、適用範囲が広いです。第三に、コンテキストウィンドウの制限を受けず、大量の下流サンプルの吸収により適しています。第四に、外部モジュールとして、既存の生成、検索、ランキングのパイプラインと組み合わせやすく、RAG、エージェント、ツール呼び出しシステムに組み込むことが容易です。

業界競争の観点から見ても、CappyはマルチタスクLLMの能力向上が必ずしもパラメータ規模の拡大によってのみ達成されるわけではないことを示しています。再ランキング（reranking）、報酬モデリング（reward modeling）、応答選択（response selection）、および弱教師ありデータ構築をめぐる体系的な最適化が、モデル能力向上の重要な構成要素になりつつあります。

まとめ

Google Researchが発表したCappyは、スコアリングに基づくマルチタスクLLM強化ソリューションです。大規模モデルのパラメータの逆伝播やクローズドソースモデルの重みへのアクセスを必要とせずに、「指示ー回答」ペアの正確性スコアを学習することで、下流タスクにおけるマルチタスクモデルの性能を向上させます。

実験結果によれば、3.6億パラメータのCappyはすでに複数のタスクでより大規模なモデルの性能に匹敵あるいはそれを上回ることができ、BIG-Benchの45個の複雑な生成タスクにおいても、パラメータを固定したFLAN-T5に顕著な性能向上をもたらしました。中国のAI界にとって、Cappyが最も注目すべき点は、スコアリングモデルが補助的な構成要素から次第に大規模モデル応用アーキテクチャにおける重要な能力レイヤーへと進化しつつあることです。

大規模モデルの実用化が、コスト、効率、そして制御性を同時に重視する新たな段階に入るにつれ、Cappyのような小規模モデルとの協調ソリューションが、次のラウンドの製品イノベーションとエンジニアリング最適化の重要な方向性になる可能性があります。

参考ソース