新智元報道
編集:桃子、好困
【新智元导读】
OpenClawに新たな重要プレイヤーが登場!NVIDIAが深夜、Nemotron 3 Superを投入し、1200億パラメータを擁する大規模AIエージェント専用モデルで、性能はClaude Opus 4.6に迫ります。推論速度は3倍、スループットは5倍に向上。「ロブスター」は空を飛ぶ勢いです。
世界時価総額1位の企業も、OpenClaw戦場に参入しました!
昨夜、NVIDIAが新一代の「オープンソースモデル」であるNemotron 3 Superを強力に発表し、大規模AIエージェント向けに設計されました。
パラメータ数は1200億、アクティブパラメータは120億、コンテキスト長は100万トークンに達し、推論速度は3倍、スループットは5倍に急増しました。
Nemotron 3 Superは、革新的なMamba-MoEハイブリッドアーキテクチャを採用し、マルチエージェント協調におけるパフォーマンスボトルネックを完全に解消しました。
さらに、これは「Nemotron 3ファミリー」の中で、以下の3つのブレークスルーを初めて実現したモデルでもあります:
・NVFP4精度をネイティブに採用して事前学習を実施
・新しいLatentMoE混合専門家アーキテクチャにより、「単位演算能力あたりの精度」と「単位パラメータあたりの精度」を極限まで最適化
・MTP(マルチトークン予測)層を導入し、ネイティブな「推測的デコーディング」によって推論速度を劇的に向上
Pinchbenchベンチマークでは、Nemotron 3 Superが他を圧倒し、オープンソースモデルで首位を維持しています。
OpenClawタスクの成功率では、85.6%という高得点を記録し、Claude Opus 4.6やGPT-5.4に迫る性能を示しました。
つまり、OpenClawに完璧に適合する「最強のオープンソースモデル」が誕生しました!
本日、Nemotron 3 Superは10兆トークンを超える事前学習および後学習データセット、完全なトレーニング手法、そして15の強化学習環境がすべてオープンソース化されました。
アクセス先:https://huggingface.co/collections/nvidia/nvidia-nemotron-v3
NVIDIAの1200億パラメータの巨獣が炸裂
OpenClawとの完璧な相性
現在、チャットボットからマルチエージェントアプリケーションへの移行段階では、通常「2つの壁」に直面します。
1つ目はコンテキストの爆発です。
マルチエージェントワークフローで生成されるトークン数は、通常の会話に比べて最大15倍になります。
なぜなら、すべての相互作用において、ツールの出力や中間推論プロセスを含む完全な履歴を再送信する必要があるからです。
長期的なタスクを実行する場合、このような巨大なコンテキストデータ量はコストを押し上げるだけでなく、目標の逸脱(goal drift)を引き起こしやすく、エージェントが最初に設定した目標から徐々に離れてしまう原因となります。
2つ目は「思考税(thinking tax)」です。
複雑なエージェントは各ステップで推論を行わなければなりませんが、すべてのサブタスクでLLMを呼び出すと、マルチエージェントアプリケーションのコストが極めて高額になり、反応が遅延して実際の応用での実装が困難になります。
このため、NVIDIAがオープンソース化したNemotron 3 Superは、エージェントアプリケーションの「2つの枷」を完全に打ち破りました。
論文アドレス:https://research.nvidia.com/labs/nemotron/files/NVIDIA-Nemotron-3-Super-Technical-Report.pdf
前述の通り、Nemotron 3 Superは100万トークンのコンテキスト長を備えています。
特にOpenClaw環境下では、AIがワークフロー全体の状態をメモリ内に完全に保持し、最初のステップから最終ステップまでの論理的な一貫性を確保できます。
Artificial Analysisにおいて、Nemotron 3 SuperはSOTAを更新し、効率性とオープンソースモデルのランキングで1位に輝きました。
同規模のオープンソースモデルの中で、新モデルの精度は圧倒的に先行しています。
同時に、新モデルを搭載したNVIDIA AI-Q研究用AIエージェントは、DeepResearch BenchおよびDeepResearch Bench IIのランキングで1位を獲得しました。
今後5年間で、NVIDIAは260億ドルを投じて世界トップクラスのオープンソースモデルの構築に注力します。
ハイブリッドアーキテクチャの革命、スループット5倍の急増
今回は、NVIDIAがNemotron 3 Superの基盤アーキテクチャを再構築しました。
88層のネットワークは周期的に交互に配置され、その中でMamba-2層は効率的なシーケンスモデリングを担当し、線形時間複雑性を提供します。
一方、少数のTransformerアテンション層は「グローバルアンカー」として間に挟まれ、位置を超えた長距離情報のルーティングと高精度な推論を担当します。
その結果、前世代のNemotron Superモデルと比較して、スループットが最大5倍、精度が最大2倍向上しました。
GPT-OSS-120BやQwen3.5-122Bと比較しても、Nemotron 3 Superは最高成績を収めました。
さらに、入力シーケンス長が8k、出力シーケンス長が64kの場合、そのスループットはGPT-OSS-120Bに対して最大2.2倍、Qwen3.5-122Bに対して最大7.5倍高くなります。
LatentMoE:ハードウェアを理解する専門家設計、バイト単位の精度を搾り取る
さらに重要なのは、Nemotron 3 Superが初めて「潜在MoE(Latent MoE)」を導入したことです。
LatentMoEの解決策は非常に巧妙で、ルーティングと専門家計算を行う前に、トークンを隠れ次元dからより小さな潜在次元ℓに射影します。ルーティングと専門家計算はこのはるかに小さな次元で行われます。
これは、ロードする必要がある専門家パラメータとカード間通信量がd/ℓ倍直接縮小することを意味します!
節約されたリソースは、専門家の総数と一度にアクティブにする専門家の数を同じ倍率で増やすために使用できます。つまり、推論コストをほぼ変えずに「タダで」精度を向上させたことになります。
NVIDIAの公式ブログの説明はより直感的です:1つの専門家の計算コストで、4つの専門家をアクティブにします。
従来のMoEと比較して、LatentMoEはパラメータ利用率と計算資源利用率の両方で優れています。
マルチトークン予測:性能と推論効率を同時に達成
Nemotron 3 Superには、もう一つの強力な武器が加わりました:マルチトークン予測(MTP)です。これにより、モデルの品質と推論効率の両方が向上します。
従来のトレーニング方法は「次のトークンを予測(Next-token)」するものでしたが、MTPはモデルに各位置で一気に未来の複数のトークンを予測することを要求します。
これは実際には、モデルに複数ステップ間の因果関係やより長期的なテキスト構造を理解させることを強制しています。
実証された通り、この手法は非常に効果的で、モデルの検証セットの損失と下游タスクのスコアが確実に向上しました。
賢くなることに加え、MTPの最大の利点はネイティブな推測的デコーディング(Speculative Decoding)の実現です。
これらの追加予測ヘッドは、モデルの内部に「ドラフトモデル(Draft model)」を内蔵しているようなものです。
推論時、予測ヘッドはまず素早くドラフト(後の数トークンの候補を生成)を作成し、その後、メインモデルが1回のフォワードパスでこれらのドラフトをすべて検証計算します。
この手法は生成遅延を大幅に削減し、独立したドラフトモデルを外部に接続する場合と比較して、追加の計算コスト(FLOPs)はほとんど無視できるレベルです。
ネイティブNVFP4精度での事前学習
NVIDIA研究副社長Bryan Catanzaroが述べた通り、Nemotron 3 SuperはBlackwell向けに設計されています。
事前学習段階では、チームはBlackwellプラットフォーム上でNVFP4精度を使用して全程を実行し、メモリ要件を大幅に削減しました。
さらに、精度損失ゼロの前提で、新モデルの推論速度はHopperアーキテクチャ上のFP8よりも4倍高速です。
25兆トークン+21のRL環境、AIエージェントをターゲットに
以前のNemotron 3 Nanoと同様に、Nemotron 3 Superも25兆トークンのテキストデータで育ちました。
事前学習は2段階で行われます:
第1段階:データの80%(20兆トークン)を消費し、データの多様性と知識の広さを重視。コーパスは16の主要カテゴリに及び、Webスクレイピングからコード、数学、学術論文、多言語データまで網羅しています。
第2段階:残りの20%(5兆トークン)を消費し、これは厳選された高品質データのみで構成され、Wikipedia、高品質PDF、STEM推論データのウェイトを大幅に引き上げ、精度向上に特化しています。
最終的に訓練された「ベースモデル」は、MMLUで86.01、MMLU-Proで75.65、MATHで84.84を達成し、同規模のトップモデルを大きく引き離しました。
上下にスワイプして表示
後学習においては、NVIDIAはスキルポイントを「AIエージェント能力」に集中して投資しました。
SFT段階では、700万サンプル、800億トークンを訓練しました。データ混合において、エージェント関連タスクの割合は36%に達し、会話(23%)や推論(31%)を大きく上回っています。
エージェント訓練データの規模増加は特に激しく、対話型ツール呼び出しのみで、前世代のNanoの5つの分野・15,588件の対話から、838の分野・279,116件の対話へと急増しました。
RL段階は大規模なもので、4つのステップに分かれています:
ステップ1:マルチ環境RLVR。21の環境、37のデータセットで同時に訓練し、数学、コード、STEM、セキュリティ、会話、指令遵守、長コンテキスト、パズル、各種エージェントタスクをカバー。各ステップで256のプロンプトをサンプリングし、各プロンプトから16のレスポンスを生成。
ステップ2:SWE-RL。ソフトウェアエンジニアリング能力に特化し、20Bトークンを投入。各ロールアウトでコンテナを起動し、実際のコードリポジトリ内でエージェントループを実行。コードパッチを生成後、実際のテストケースで検証。
ステップ3:RLHF。18Bトークンで、Qwen3-235BベースのGenRM報酬モデルを訓練し、アイデンティティ認識とセキュリティトピックにおける行動を正確に制御。
ステップ4:MTP回復。モデルの本体を凍結し、MTP予測ヘッドのみを訓練して、推測的デコーディングの精度を再調整。
この最高仕様のAIエージェント訓練秘訣の効果は?いくつかの数値がすべてを物語っています:
SWE-Bench(OpenHands)で60.47%を獲得し、GPT-OSS-120Bの41.9%を大幅に上回る。
RULER@1M長コンテキストテストで91.75%を達成し、GPT-OSS-120Bの22.3%と比較して圧倒的。
AIME25数学推論では90.21%を記録し、Qwen3.5-122Bの90.36%とほぼ互角。
上下にスワイプして表示
「ロブスター」プレイヤーの勝利
数千ページのレポートを瞬時にメモリに読み込む
Nemotron 3 Superの高い精度のツール呼び出し能力により、OpenClawエージェントは複数の分野で飛躍的な進化を遂げることができます。
ソフトウェア開発において、AIエージェントは「コードベース全体」を一度にコンテキストに読み込むことができます。
煩雑なドキュメント分割なしで、エンドツーエンドのコード生成、脆弱性修復、自動デバッグを実現します。
財務分析のシナリオでは、Nemotron 3 Superは数千ページに及ぶレポートを直接メモリに読み込むことができます。
これにより、冗長な会話の中で繰り返し推論し直す手間が省け、業務効率を大幅に向上させます。
ツール呼び出し能力により、Nemotron 3 Superは自律エージェントが膨大な関数ライブラリ内で確実にナビゲート操作を行えるようになり、サイバーセキュリティ分野などの自律的セキュリティオーケストレーションのような高リスク・クリティカルな環境での実行エラーを防ぎます。
現在、多くの「ロブスター」プレイヤーが直接使用できるようになりました。
現在、Perplexityは検索用にNemotron 3 Superを統合し、Computer内の20のオーケストレーションモデルの1つとなっています。
また、CodeRabbit、Factory、Greptileなどのソフトウェア開発AIエージェントを提供する企業は、これを自社のモデルとAIエージェントに統合しています。
Edison ScientificやLila Sciencesなどの生命科学および最先端AI機関も、Nemotron 3 Superをそのエージェントの計算支援に使用し、深層文献検索、データサイエンス、分子構造の理解に活用します。
NVIDIA版OpenClawが到来
モデルだけでは不十分で、NVIDIAはプラットフォームも一緒に提供しています。
WIREDのスクープによると、NVIDIAは企業市場向けに「NemoClaw」という名前のオープンソースAIエージェントプラットフォームを密かに開発中です。
名前を聞けば分かる通り、「Nemo」はNemotronモデルファミリーに対応し、「Claw」はOpenClawを指します。
つまり、NVIDIAは自社のモデルを使って、エンタープライズグレードのOpenClawを構築しようとしています。
OpenClawとの最大の違いはどこか?それはセキュリティです。
OpenClawは個人プレイヤーの間で盛り上がっていますが、企業は手を出せません。NemoClawはこの痛点对しての解決策です。
報道によると、NemoClawは最初からセキュリティとプライバシーツールを内蔵しており、企業に安心感を与えます。
また、完全にオープンソースであり、システムがNVIDIA製チップでなくても使用可能です。
なぜオープンソースなのか?ロジックは単純です。エージェントが多用されればされるほど、計算需要が増え、NVIDIAは依然として利益を得られます。
Nemotron 3 Superはエンジン、NemoClawはシャーシです。モデルとプラットフォームの両輪で進めます。
NVIDIAは今回、企業に「すぐに使える」AIエージェントのフルセットを提供しようとしています。
OpenClawが個人プレイヤーに甘美な味を味わわせた一方で、エンタープライズ市場という大きなケーキを、NVIDIAは誰にも譲るつもりはありません。