先日、私たちは百灵（Bailing）2.6シリーズモデル、Ling-2.6-flash、Ling-2.6-1T、Ring-2.6-1Tを公開し、オープンソース化しました。
本日、Ling & Ring 2.6 Technical Reportを正式に公開し、百灵2.6シリーズにおけるモデルアーキテクチャ、事前学習、ポストトレーニング、エージェント強化学習、推論基盤に関する技術的詳細を体系的に公開します。
百灵2.6シリーズは、大規模言語モデルの利用シーンが変化する中で設計されました。モデルはもはやチャットシステムとして質問に答えるだけでなく、エージェント、コーディング、研究分析、企業ワークフローといった、現実世界の複雑なタスクへと進出しています。これらのシナリオでは、モデルは信頼性の高い推論、安定したツール利用、そしてコストとレイテンシを制御しながら継続的にタスクを実行する能力という、三つの能力を同時に備える必要があります。
この目標に向けて、私たちは百灵2.6シリーズを、タスクの複雑さに応じたモデルファミリーとして設計しました。
- Ling-2.6は、即時応答と高いトークン効率性を志向し、出力トークンあたりの能力密度を高めることに重点を置いています。
- Ring-2.6は、より深い推論と複雑なエージェントワークフローを志向し、長期的な計画立案、ツール呼び出し、コード実行、検索、環境とのインタラクション能力の向上に重点を置いています。
また、百灵2.6シリーズのベースモデルとポストトレーニング後のチェックポイントは、コミュニティ向けにオープンソース化されています。私たちは、モデル、技術レポート、関連ツールチェーンを公開することで、開発者と研究者に再現可能で拡張性があり、さらに進化させ続けることができる「エージェントインテリジェンス」の技術基盤を提供したいと考えています。
主な特徴
百灵2.6シリーズは、単なるパラメータ規模の拡大ではありません。私たちがより重視しているのは、兆パラメータ規模において、モデルを実際のワークフローでより効率的に、より安定的に、より実用的にする方法です。
この目標を中心に、百灵2.6は主に三つの方向性でシステム最適化を行いました。
より効率的な長文コンテキスト処理能力
長文コンテキストは、十分に効率的でなければ実用的な価値を持ちません。従来のGQAベースのアーキテクチャでは、コンテキスト長が32Kトークンを超えると、アテンション計算が主要なボトルネックとなっていました。そこで、Ling / Ring 2.6は統一されたハイブリッド線形アテンション（Hybrid Linear Attention）アーキテクチャを採用し、Lightning AttentionとMLAを7:1の比率で組み合わせることで、モデリング品質を可能な限り維持しつつ、長文コンテキストの学習、デコード、KVキャッシュのコストを削減します。
システム面では、継続的MTP学習（continued MTP training）、最適化されたコンテキスト並列通信、そしてlinghe統合カーネルライブラリを組み合わせることで、新アーキテクチャは長文出力や長文コンテキスト学習のシナリオで、より優れたスループットを実現しました。特に、Ling-2.6-flashは4×H20ハードウェア上で340トークン/秒を達成しています。
より高い単位トークンあたりの能力密度
Ling-2.6にとって、トークン効率は中核的な最適化目標です。私たちは、より短い出力を表面的なスタイル最適化とは見なさず、モデルがより少ない出力トークンでより高い情報密度を実現し、冗長な推論を削減しながら回答の質を維持することを目指しています。
ポストトレーニング段階では、進化的思考連鎖（Evo-CoT）、言語単位ポリシー最適化（LPO）、双方向嗜好アライメント、そして最短正解応答蒸留といった手法を組み合わせ、モデルが効率的な推論ステップを選択する能力を高め、反復、循環、低情報密度の出力を削減します。
Artificial Analysis Intelligence Indexにおいて、Ling-2.6-1Tは約16Mの出力トークンを使用して34点を獲得し、Ling-2.0-1Tと比較して推論ワークロードにおいて約4倍のトークン効率向上を達成しました。
ネイティブに最適化されたエージェント能力
百灵2.6シリーズのエージェント能力は、単に通常の対話データから「転移」されたものではなく、直接的な学習目標として最適化されました。
私たちは、ツール呼び出し、コード、検索、ワークフロー実行、マルチターンインタラクションを網羅する大規模なエージェントコーパス（Agentic Corpus）を構築し、これらのデータを検証可能なタスク、構造化されたツール軌跡、環境フィードバックと組み合わせました。Ring-2.6では、さらにKPopを提案しました。これは、IcePopにおける一律固定比率制約を、バイナリKLダイバージェンス（binary KL divergence）で置き換えることで、MoEモデルのエージェント強化学習をより安定的に行うものです。同時に、非同期RLを採用し、ロールアウト収集とパラメータ更新を分離することで、コーディング、検索、ツール呼び出し、ワークフロー実行といった長いタスク連鎖を、兆パラメータ規模でより効率的に学習できるようにしました。
これらの設計により、Ring-2.6-1Tは複数の実タスクやエージェント評価において安定したパフォーマンスを示しています。例えば、Ring-2.6-1T highはPinchBenchで87.60、ClawEvalで63.82を達成し、GAIA-2 Searchやτ2-Bench Telecomなどのタスクで、優れた多段階タスク実行能力とツール呼び出し能力を示しました。
注：上図はArtificial Analysis Intelligence IndexにおけるLing-2.6-1Tのトークン効率を示しています。
下図は、複雑な推論とエージェントタスクのベンチマークにおけるRing-2.6-1Tのパフォーマンスを示しています。
モデルの位置付け：Lingは効率性、Ringは高度な推論と複雑な実行を担当
大規模モデルがチャットボットからエージェントシステムへと移行するにつれ、モデルの最適化目標も変化しました。実用的な大規模モデルは、推論能力だけでなく、ツールを確実に呼び出し、実際のタスクで安定して実行できる必要があります。同時に、モデルは応答速度、トークンコスト、タスク完了品質のバランスを取らなければなりません。
そのため、私たちは単一のモデルで全てのタスクをカバーしようとはせず、百灵2.6シリーズを異なる利用シーンに対応するモデルファミリーとして設計しました。
- Ling-2.6-flashは、低レイテンシ、高スループット、高頻度呼び出しを指向し、情報抽出、フォーマット変換、長文出力、バッチ処理、エージェントワークフロー内の軽量実行ノードに適しています。
- Ling-2.6-1Tは、より高い能力密度と、より強力な汎用能力を指向し、即時/非推論シナリオにおいて、より少ない出力トークンで高品質なタスクを完了することを重視します。
- Ring-2.6-1Tは、複雑な推論と長期的なエージェントワークフローを指向し、highとxhighの二つの推論設定をサポートします。highは高頻度なエージェントワークフローや本番環境でのデフォルト呼び出しに適しており、xhighはより大きな思考予算を必要とする複雑な推論タスクに使用されます。
2.6シリーズのモデル分担の中核は、開発者がタスクの複雑さ、コスト制約、応答レイテンシ要件に基づいて、より適切なモデルと推論設定を選択できるようにすることです。
事前学習：Ling-2.0ベースからスタートし、長文コンテキストアーキテクチャへ移行
兆パラメータ規模のモデルをゼロから再学習するのはコストが非常に高く、前世代モデルが既に蓄積した大規模な学習成果も失われます。そのため、Ling / Ring 2.6はゼロから学習を開始するのではなく、Ling-2.0ベースモデル上でアーキテクチャ移行、継続的事前学習、大規模なポストトレーニングを行いました。
ハイブリッド線形アテンション：長文コンテキスト効率とモデル品質の両立
長文コンテキストタスクでは、従来のフルアテンションの計算とキャッシュのオーバーヘッドがコンテキスト長と共に急速に増大します。この問題を解決するため、私たちはLightning AttentionとMLAを組み合わせたハイブリッド線形アテンションアーキテクチャを採用しています。
Lightning Attentionは、シーケンス次元における計算複雑性をO(n²)からO(n)に削減し、長文コンテキストの学習とデコードに適しています。MLAは、低ランク潜在空間圧縮によりKVキャッシュを圧縮し、長文推論時のGPUメモリ負荷を軽減します。
スケーリング則（scaling law）実験を通じて、1:1、3:1、7:1、15:1を含む複数の混合比率を比較しました。その結果、7:1の線形/フルアテンション比率が、モデル品質と推論コストの間で最適なバランスを取ることが示され、Ling-2.6-1T-baseの最終的なアーキテクチャとして選択されました。
注：異なるハイブリッドアテンション比率におけるスケーリング則の比較。7:1が品質と効率の間で最適なバランスを達成。
四段階のアーキテクチャ移行：ゼロからの学習を回避し、既存能力を円滑に継承
GQAベースのSoftmaxアテンションからハイブリッド線形アテンション+MLAへの移行は、単純な構造置換ではありません。私たちは四段階の移行プロセスを採用しました。
- 第一段階：一部のGQA層をLightning Attentionに変換。
- 第二段階：線形ウォームアップ（Linear Warmup）により新規パラメータのアライメントを実施。
- 第三段階：QK Normの除去や部分的RoPE適応を含むMLA変換（MLA Conversion）を完了。
- 第四段階：MLAウォームアップを通じて、損失を移行前の水準まで回復。
この移行段階では約400Bトークンを使用し、Ling-2.0が持つ既存能力を維持しながら、新しい長文コンテキスト向けの高効率アーキテクチャへと段階的に適応させました。
9.6Tトークンの継続学習：4Kから256Kコンテキストへ
アーキテクチャ移行の完了後、大規模な全パラメータ学習を継続しました。Ling-2.6の事前学習では、合計で約9.6Tトークンを処理し、以下の三つの段階に分けて実施しました。
- 移行事前学習（Migration Pre-Training）：約400Bトークン。アーキテクチャ移行の完了に使用。
- 継続事前学習（Continue Pre-Training）：約8Tトークン。4Kコンテキストで全パラメータを継続学習。
- 中期学習（Mid-Training）：約1.2Tトークン。コンテキストウィンドウを4Kから32K、さらに256Kへと段階的に拡張。
データ構成においては、数学、コード、エージェントデータ（Agentic Data）、長文コンテキストコーパス、多言語コーパスを重点的に強化しました。エージェントコーパスは500以上の実MCP環境、3000以上のツール、そして多様なコーディング、bash、Web QA、ソフトウェアリポジトリタスクをカバーしています。長文コンテキストコーパスは、数学、複雑なWeb解析、長文要約、RAG融合、マルチホップ推論などのタスクをカバーしています。
注：Ling-2.6の多段階事前学習プロセス。アーキテクチャ移行、継続事前学習から長文コンテキスト中期学習を経て、256Kコンテキストへと段階的に拡張。
ベースモデル評価：知識、長文コンテキスト、推論、コード能力の同時向上
ベースモデル評価では、数学、コード、汎用推論、言語理解、世界知識、長文コンテキスト理解をカバーする31のベンチマークを用いて、Ling-2.6-flash-base、Ling-2.6-1T-baseと2.0世代モデルを比較しました。
全体として、Ling-2.6-1T-baseは世界知識、長文コンテキストモデリング、推論能力において安定的な向上を示し、同時に数学とコード能力も維持しました。特に、SimpleQA、C-SimpleQA、MMMLU、LongBenchv2などの知識や長文コンテキストタスクでの向上が顕著です。これは、新しい高品質データと長文コンテキスト学習プロセスが、モデルの知識表現、長距離依存関係のモデリング、多段階推論の基礎能力を効果的に強化したことを示しています。
注：知識、数学、コード、推論、言語理解、長文コンテキストベンチマークにおけるLing-2.6-baseとLing-2.0-baseの比較。
Ling-2.6ポストトレーニング：トークン効率を中心とした専門家育成
Ling-2.6のポストトレーニングの目標は、即時応答と高頻度呼び出しにより適したモデルを得ることです。そのため、私たちはモデルが正解できるかだけでなく、より少ない出力トークンでより高品質な回答を提供できるかにも焦点を当てています。
Ling-2.0の統一的ポストトレーニングとは異なり、Ling-2.6は専門家主導の学習パラダイムを採用しています。まずコールドスタートSFT（cold-start SFT）を行い、次に推論専門家（reasoning specialist）とエージェント専門家（agentic specialist）の育成を行います。その後、RLを通じて各専門家モデルを強化し、最後に専門家の能力を統一されたLing-2.6モデルに蒸留します。
注：Ling-2.6ポストトレーニングプロセス：コールドスタートSFT、専門家学習、トークン効率的RL、双方向嗜好アライメント、能力蒸留。
より少ない冗長性、より高い情報密度
推論の方向性では、まず専門家モデルを利用して候補回答を生成し、最短の正解回答を保持します。同時に、LLMジャッジを用いて「正解を見つけた後も反省を続ける」ような過剰な推論部分を除去します。このデータレベルでの処理により、平均出力長が約200～300トークン削減されました。
RL段階では、Evo-CoTに基づき、動的長さペナルティと意味的冗長性ペナルティを含む冗長性ペナルティをさらに導入します。動的長さペナルティは、困難なタスクでは十分な推論を許可しますが、簡単なタスクでの過剰に長い出力を制限します。意味的冗長性ペナルティは、推論プロセスをセグメント評価することで、循環、反復、価値の低い内省を抑制します。
ツール利用向けのトークン効率的エージェント学習
エージェントタスクでは、GSPOを採用し、二つの報酬シグナルを導入します。一つはツール呼び出し軌跡と最適なツール呼び出しシーケンスとの一貫性、もう一つはzlib圧縮率に基づく反復ペナルティです。
圧縮率ペナルティの直感はシンプルです。高度に反復的で退化した出力は圧縮されやすいため、より強いペナルティを受けます。これにより、モデルはツール使用中に、より簡潔で一貫性のある効率的な実行パスを好むようになります。
同時に、動的パスレーティング（DPR）を導入し、動的なサンプル選択を行います。学習の初期段階で既に安定して解決できるタスクは簡単なタスクと見なされ、長期間解決できないかパフォーマンスが不安定なタスクが後続の学習で優先的に使用されます。これにより、学習リソースをモデルの現在の能力限界付近にある、情報量の多いサンプルに集中させることができます。
双方向嗜好アライメント：品質と簡潔性の両立
Ling-2.6の最終段階では、双方向嗜好アライメントを導入します。単方向の報酬モデリングのみを行うのではなく、正のインセンティブと負のペナルティを一つの報酬モデルに統合します。つまり、情報が十分で制約を満たす回答を奨励する一方で、論理エラー、幻覚、機械的な冗長出力をペナルティします。
モデルが単に出力長を増やすことで報酬を高めるのを避けるため、さらにフォーカス報酬（focus reward）を使用し、各次元の飽和度に応じて学習の重みを動的に調整します。これにより、最適化の焦点は、まだ改善が必要な次元へと移ります。
Ring-2.6ポストトレーニング：長期的エージェント向け強化学習
Ring-2.6のポストトレーニングの目標はLing-2.6とは異なります。より複雑で、長期的で、ツール集約型のエージェント行動に焦点を当てています。私たちは、Ring-2.6が最終的なタスク成功率を向上させるだけでなく、実際の実行制約下で計画、検索、ツール呼び出し、適応的インタラクション能力を強化することを望んでいます。
学習プロセスにおいて、Ring-2.6はLing-2.6-1T Baseから出発し、コールドスタートSFTを経て、KPopアルゴリズムによって学習された推論＆エージェント専門家、専門家蒸留を経て、最終的にhighとxhighの二つの推論設定を形成します。
ここで、highは適度な長さペナルティを用いて、推論の深さと応答の簡潔さのバランスを取ります。一方、xhighはより小さな長さペナルティを使用し、複雑な推論タスクに対してより十分な思考空間を解放します。
注：Ring-2.6ポストトレーニングプロセス：Ling-2.6-1T Baseからhigh / xhighの適応的思考（Adaptive Thinking）へ。
エージェントデータ：コード、検索から汎用ツールワークフローまで
Ring-2.6のツール使用データは、主に三つの能力をカバーしています。リポジトリレベルのコーディング、モバイル/ウェブ検索、そして多段階計画とエラー回復を必要とする汎用ツールワークフローです。
- コーディングエージェントタスクでは、GitHubから大規模にPR-Issueペアをマイニングします。スター数が100以上、PRがマージされ関連するクローズドIssueがあり、テストパッチを含むタスクを保持し、最終的に約300Kの生ペアを得ました。既存のSWEベンチマークとの重複を防ぐため、関連リポジトリを除外し、データ汚染リスクを低減しています。
- 検索エージェントタスクでは、モバイルアプリケーション検索とWeb検索の二つの環境を構築します。モバイル側のタスクは、連絡先、メッセージ、メール、カレンダー、ショッピング、旅行、ファイルなどのステートフルなアプリケーションをシミュレートします。Web検索タスクは、Wikipediaの証拠パスからマルチホップ質問応答を構築し、キーワードによるショートカットを避けるため、重要な事実は間接的な表現で記述されます。
- 汎用ツール使用においては、ビジネスポリシー制約、マルチターンツール呼び出し、ハーネス非依存ワークフロー、大規模MCP合成タスク、一般的なツール呼び出しタスクをカバーするデータを構築しました。このうち、大規模MCP合成タスクは、検証済みの197個のMCPサーバー、12のドメイン、2400以上のツールをカバーしています。
エージェントRL：実環境フィードバックでモデルを学習
エージェントRL段階では、軽量なエージェントフレームワークを構築し、execute_bash、search_replace、task_doneの三つの中核的なツールを提供します。学習中の最大対話長は200ターン、評価中の最大対話長は500ターンです。
SWEのような長期的タスクに対しては、サンドボックス環境で強化学習を行います。このようなタスクは、しばしば30から200の解決ステップを必要とするため、再現可能な環境、信頼性の高い検証シグナル、高い学習安定性が求められます。
最終的に学習に使用されたデータセットは、約2500のインスタンスを含み、1550のリポジトリから得られ、Python、Java、C、Rust、JavaScriptなど30以上のプログラミング言語をカバーしています。報酬ハッキング（reward hacking）を減らすため、git履歴へのアクセスを制限し、リアルタイム監視によって潜在的な不正軌跡を特定します。分析の結果、約0.2%の軌跡に不正パターンが見られましたが、実用上の影響は小さいと判断しています。
KPop：強化学習における学習-推論の不一致を緩和
Ring-1Tでは、両側マスキングによってMoEモデルの強化学習安定性を高めるIcePopを提案しました。しかし、Ring-2.6の学習では、固定比率制約が全てのトークンが同じノイズ構造を持つという暗黙の仮定に依存しており、これが実際の学習プロセスと一致しないことをさらに観察しました。
異なるトークンの確率は異なり、学習戦略と推論戦略の間の不一致も異なります。固定比率マスクは、低確率トークンに対して過剰なマスキングを引き起こしやすいのです。
そこで、私たちはKPopを提案しました。これは、IcePopの一律固定比率制約を、対称バイナリKL基準（symmetric binary KL criterion）で置き換えるものです。各出力トークンに対して、KPopは語彙全体を「現在サンプリングされたトークン」と「その他の全てのトークン」という二つのイベントと見なし、学習戦略と推論戦略の間のバイナリKLダイバージェンスをそれぞれ計算します。両方向のバイナリKLが共に十分小さい場合にのみ、そのトークンは方策更新のために保持されます。
実験によると、KPopはコーディングタスクにおけるエージェントRLの報酬曲線を学習過程で継続的に上昇させ、軽量エージェントのSWE-bench Verifiedでの解決率を70.8%から76.28%に向上させました（この結果は3回の独立した実行の平均値です）。
注：コーディングタスクにおけるKPopのエージェントRL学習の動態。報酬曲線は学習と共に上昇。
注：SWE-bench VerifiedにおけるKPopの評価結果。
評価結果：Lingはより速く実用的、Ringはより複雑な推論とエージェント実行に長ける
私たちはLing-2.6とRing-2.6について、それぞれ体系的に評価を行いました。
- Ling-2.6は主に即時応答モデルとして評価され、迅速な応答、トークン効率、指示追従、長文コンテキスト能力に焦点を当てました。
- Ring-2.6は、長期的なエージェントモデルとして評価され、複雑な推論、OpenClaw、エージェントコーディング、エージェント検索、関数呼び出しに焦点を当てました。
Ling-2.6：高トークン効率下での汎用能力
Ling-2.6-1Tは、知識、推論、エージェント、指示追従、長文コンテキストなどのタスクで安定したパフォーマンスを示しました。
- 知識タスクにおいて、Ling-2.6-1TはC-SimpleQAで76.53、SimpleQA-Verifiedで31.50を達成。推論タスクでは、AIME26で87.40、HMMT-Nov25で81.93、IMO-AnswerBenchで65.81、ARCPrizeで50.94を獲得しました。
- エージェントタスクにおいて、Ling-2.6-1TはPinchBench、ClawEval、BFCL-v4、τ2-benchで強力なツール使用とタスク実行能力を示しました。Ling-2.6-flashは軽量モデルながら、SWE-bench Verified、PinchBench、TAU2-Benchなどのタスクでも優れた実行能力を示しました。
- 長文コンテキストとマルチターン対話において、Ling-2.6-1TはMRCR 16K-256Kで80.37を達成。Ling-2.6-flashはMRCRで75.93を達成し、MultichallengeとMulti-IFで安定したパフォーマンスを示しました。これは、Ling-2.6-flashが長文入力、長文出力、複雑なインタラクションシナリオにおいて、優れたデプロイ効率とタスクパフォーマンスを備えていることを示しています。
注：知識、推論、エージェント、指示追従、長文コンテキストベンチマークにおけるLing-2.6-flashとLing-2.6-1Tの評価結果。
Ling-2.6-flash：デプロイ効率を重視した軽量モデル
Ling-2.6-1Tがより高い能力上限を目指すのに対し、Ling-2.6-flashはデプロイ時の推論効率をより重視しています。ハイブリッドアテンションアーキテクチャと高いスパース性を持つMoE設計により、Ling-2.6-flashは同規模モデルの中で高い処理速度を誇ります。
4×H20へのデプロイ、バッチサイズ32、テンソル並列ランク4、出力長64Kの設定において、Ling-2.6-flashのデコードスループットは、Nemotron-3-Superの1.3倍、Qwen3.5-122B-A10Bの2.4倍、GLM-4.5-Airの4.3倍に達しました。長文出力、高頻度呼び出し、スループット制限のあるエージェントワークロードにとって、応答速度そのものがモデルの可用性の重要な一部です。
注：プリフィル（prefill）およびデコード（decode）段階におけるLing-2.6-flashのスループットパフォーマンス。
Ring-2.6：複雑な推論とエージェント実行能力
Ring-2.6-1Tは、highとxhighの二つの推論設定を提供します。xhighはより大きな思考予算を使用し、複雑な推論の深さを最大化します。highは推論オーバーヘッドを削減し、エージェント実行や高頻度呼び出しに適しています。
- 複雑な推論タスクでは、Ring-2.6-1T xhighがAIME 2026で95.78、LiveCodeBench-v6で86.95、ARC-AGI-2で66.18を達成しました。レポートによると、Ring-2.6-1T xhighはARC-AGI-2において、トップのオープンウェイトモデルであり、優れた抽象的推論とパターン認識能力を示しています。
- OpenClaw関連の評価では、Ring-2.6-1T highのパフォーマンスがさらに際立っています。PinchBenchスコアは87.60で、レポート記載モデル中1位。ClawEvalスコアは63.82で、オープンウェイトモデル中1位となり、Kimi-K2.6-ThinkingやGLM-5.1-Thinkingを上回りました。
- エージェントコーディングにおいて、Ring-2.6-1T highはSWE-bench Verifiedで74.00、SWE-bench Proで53.76を達成し、モデルが複数ファイルにわたる推論、実際のソフトウェアエンジニアリングタスク、反復的なデバッグを処理する基礎能力を備えていることを示しています。
- エージェント検索において、Ring-2.6-1T xhighはGAIA-2 Searchで77.90を達成し、多段階検索と情報統合能力を示しました。関数呼び出しにおいて、Ring-2.6-1T highはτ2-bench Averageで84.26、τ2-Telecomで96.71を達成し、構造化APIインタラクションや複数回の関数呼び出しタスクにおいて、高い信頼性を備えていることを示しました。
注：複雑な推論、OpenClaw、エージェントコーディング、エージェント検索、関数呼び出しにおけるRing-2.6-1Tの評価パフォーマンス。
基盤：学習、RL、推論のシステム連携
兆パラメータモデルにとって、システムスタック自体がモデルの能力とコストの重要な構成要素です。百灵2.6の基盤最適化は、主に三つの層で展開されています。長文コンテキスト学習効率、大規模非同期エージェントRL効率、そして推論サービング効率です。
長文コンテキスト学習：Lightning Attention向けコンテキスト並列
ハイブリッド線形アテンションの導入後、長文コンテキスト学習はもはやLing-2.0学習スタックの単純な延長ではありません。Lightning Attentionはシーケンス次元に沿った再帰的依存関係を持つため、従来のSoftmax Attention向けのコンテキスト並列（Context Parallel）手法をそのまま適用できません。
そこで、私たちはAllGatherベースのCPを提案し、「ローカル再帰＋グローバル補正」という方式を採用しました。各ランクはまず、ローカルのシーケンス分割上で隠れ状態と出力を計算し、その後AllGatherで状態を集約して補正を行います。この設計はヘッド数が割り切れるという制約に依存せず、超長文コンテキスト学習により適しています。
同時に、Triton融合カーネルを用いて可変長シーケンス（varlen sequences）に対してカーネル融合を施し、状態補正の再帰を行列形式に展開し、複数のサブシーケンスの出力補正を統合実行します。256Kコンテキスト長において、この最適化はエンドツーエンドで約68%の高速化をもたらします。
注：Lightning Attentionのコンテキスト並列最適化。
ASystemとARouter：大規模非同期エージェントRLを支える
Ling / Ring 2.6のRL学習は、ASystemの上に構築されています。ASystemはハイブリッドなSingleController-SPMDランタイムであり、制御フローとデータフローを分離し、学習、推論、報酬計算をプラグ可能なバックエンドとして扱います。
RLロールアウトでは、少数のロングテールなデコードリクエストがバッチ全体を遅延させ、GPUを長時間待機させる可能性があります。そのため、ARouterの目標は単一リクエストのレイテンシ最小化ではなく、RLステップ全体の完了時間を最小化することです。
ARouterは推論インスタンスの負荷と生成進捗を追跡し、後半のロングテールリクエストを混雑したインスタンスからアイドル状態のインスタンスに移行させます。同時に、スピルオーバーベースの学習-推論オーバーラップ（spillover-based training-inference overlap）をサポートし、メインの推論グループが計算リソースを解放して学習側の勾配累積に移行できるようにします。長いシーケンスのシナリオでは、このメカニズムは80%を超えるエンドツーエンドのパフォーマンス向上をもたらします。
注：ARouterアーキテクチャ：RLロールアウトのためのグローバルスケジューリングとロングテールリクエスト処理。
linghe：学習から推論までの一貫性最適化
推論側では、学習段階で蓄積された融合カーネルを実際のデプロイシナリオにさらに適合させ、学習と推論段階での数値的振る舞いを可能な限り一致させるようにしました。これにより、推論効率が向上するだけでなく、RLロールアウトにおける学習-推論の差異も軽減されます。
BF16推論では、QK Norm + RoPE、Group RMSNorm + Sigmoid Gateなどの重要な演算子を融合し、MLA RoPEやTop-Kを最適化しました。FP8推論では、さらにRMSNorm、SwiGLU、量子化を融合し、Split-K Blockwise FP8 GEMMを導入して小バッチシナリオのスループットを向上させました。
カーネル融合、プレフィックスキャッシング、マルチトークン生成を組み合わせることで、lingheがもたらすのは全体スループットの向上だけでなく、ユーザーあたりのTPS向上、待機時間の短縮、より安定したインタラクティブ体験も含みます。
注：lingheによるAttentionおよびMoEモジュールにおける推論演算子融合の最適化
注：異なる精度とバッチサイズ設定における、MTPとlingheによるスループット向上。
制限事項と今後の方向性
現在のモデルには、まだいくつかの不足点が存在します。
- 第一に、Ling-2.6-flashはスループットとトークン経済性において顕著な成果を上げましたが、より厳しい思考予算は、高複雑度タスクにおける推論の深さ、複雑な命令の組み合わせ能力、ツール呼び出しの信頼性を制限する可能性もあります。
- 第二に、現在のトークン効率目標には、まだ改善の余地があります。これは手続き的な推論プロセスにおける冗長性を効果的に圧縮できますが、知識集約型の出力においては、価値の低い反復と必要な事実の展開を完全に区別できない場合があります。
- 第三に、長期的エージェントの頑健性は、依然として短期的なタスク能力よりも弱いです。モデルは局所的な意思決定では良好なパフォーマンスを示せますが、より長いワークフロー、継続的に変化するツール状態、異種混在の実行環境では、信頼性が依然として低下します。
- 最後に、既存の公開評価は、持続性、回復行動、コストを意識した計画、デプロイ時の頑健性といった、実際の本番環境における重要な能力をまだ十分に測定できていません。
次の段階では、私たちは協調設計（co-design）の方向性を引き続き推進します。モデルアーキテクチャ、システム、低精度学習と推論、KVキャッシュ管理、最適化手法、推論効率の間で、より深い連携を図ります。同時に、Ling / Ringをテキストのみのシステムから、ネイティブマルチモーダルエージェントへと進化させ、モデルが視覚的なインターフェース、ドキュメント、コード、混合モーダル環境をより自然に処理できるように推進していきます。
エージェントインテリジェンスをより効率的に、よりオープンに、より実装可能に
Ling / Ring 2.6技術レポートが伝える核心的な見解は、兆パラメータモデルの進歩は、単にモデル規模だけから生まれるべきではなく、アーキテクチャ、ポストトレーニング、基盤、エージェント学習環境の間のシステム的な連携から生まれるべきだ、ということです。
Ling-2.6は即時応答、トークン効率、デプロイ制約下での広範な可用性をより重視し、Ring-2.6は複雑な推論、長期的なタスク連鎖、実環境におけるエージェント実行をより重視します。この二つは、実用的なエージェントインテリジェンスに向けた百灵2.6シリーズの技術的アプローチを共に構成しています。すなわち、長文コンテキストは効率的であるべきであり、出力トークンはより高い情報密度を持つべきであり、エージェントの行動は実環境のフィードバックの中で安定的に最適化されるべきである、ということです。
2.6シリーズのモデル、ベースモデル、ポストトレーニングチェックポイントのオープンソース化に伴い、私たちはこのアプローチをより多くの研究者や開発者に開放し、効率的でオープン、かつ実装可能なエージェントシステムを共に探求していきたいと考えています。