30億パラメータのモデルが、数学コンペティションやプログラミング実戦において、数千億、さらには兆パラメータ級のフラッグシップ大規模モデルに挑めるか？
Weiboが新たにオープンソース化した VibeThinker-3B は、小型モデルの特定能力における性能を極限まで押し上げた。
AIME26 で 94.3 点を獲得、テスト時スケーリング（Claim-Level Reliability Assessment、CLR）と組み合わせると 97.1 点まで伸長。直近の LeetCode 週間コンテストでは初回提出通過率 96.1% を記録した。
たった 3B の小型モデルが「検証可能な推論」をほぼ天井まで高め、トップクラスのオープンソース千億・兆パラメータモデルの性能に迫り、さらにはクローズドソースの Claude Opus 4.5 を超える 結果を叩き出した。
3B モデルが叩き出したトップクラスのスコア
VibeThinker-3B は、VibeThinker シリーズにおける 30 億パラメータ規模での最新の挑戦だ。前身の VibeThinker-1.5B はすでに 15 億パラメータで一通りの検証を終えている。
今回の 3B へのスケールアップでは、数学・プログラミング・STEM といった「明確な検証信号が得られる推論タスク」に焦点を絞った。
採用したのは Spectrum-to-Signal（スペクトラム・トゥ・シグナル、光谱到信号）と呼ばれる後訓練パラダイム。カリキュラム形式の教師ありファインチューニング（SFT）、多領域強化学習（RL）、オフライン自己蒸留を組み合わせ、検証可能な推論能力を極限まで高めるアプローチだ。
最も目を引くのは数学コンペティションでの成績だ。AIME26 で素の状態で 94.3 点、CLR という回答レベルの信頼性評価を用いたテスト時スケーリングでさらに 97.1 点まで伸ばした。400 問の IMO 級難問を含む IMO-AnswerBench では単独走行で 76.4 点、CLR 適用後は 80.6 点に達した。HMMT や AIME といった伝統的な数学ベンチマークでも安定した高スコアを示している。
参考までに、DeepSeek V3.2（6710 億パラメータ）が同ベンチマークで 78.3 点、GLM-5（7440 億パラメータ）で 82.5 点、Kimi K2.5（1 兆パラメータ）で 81.8 点だ。VibeThinker-3B の 80.6 点はこのゾーンに食い込んでおり、パラメータ数はそれらの「端数」でしかない。
数学以外でも、プログラミング・知識・指示追従の各軸で優秀な成績を残している。
LiveCodeBench v6 で Pass@1 80.2%、IFEval で 93.4 点を獲得。
複数の検証可能推論ベンチマークにおいて、Qwen3.6 Plus、Gemini 3 Pro、GLM-5、Kimi K2.5 といった第一線級の推論モデルと同列に並び、総合的にトップティアの性能帯に入っている。
もう一つの見所は「分布外汎化」だ。研究チームは 2026 年 4 月 25 日〜 5 月 31 日の期間に実施された、モデルが未見の LeetCode 週間コンテスト・隔週コンテストで評価を行った。すべて Python で解答させた。
128 問中、初回提出で 123 問を通過。通過率 96.1% だ。既知の問題集でスコアを稼いだわけではなく、まったく未見の実戦問題に対しても安定して解を導き出せることを示している。
コード能力の転移性は、数学問題以上にモデルの真の理解度を物語る。問題文・制約・データ構造がすべて新規であり、モデルが本質的に意図を理解していなければ解けないからだ。
積み上げられた訓練パイプライン
VibeThinker-3B は、VibeThinker-1.5B で提唱された Spectrum-to-Signal Principle（SSP、光谱到信号原则）を踏襲している。
核心アイデアは、SFT（教師ありファインチューニング）段階で「幅広く妥当な推論軌跡のスペクトラム」を構築し、RL（強化学習）段階で「検証可能な報酬」を用いて正しい信号だけを増幅するという二段構えだ。
まず行うのはカリキュラムベースの二段階 SFT。前半で数学・コード・STEM 推論・汎用会話・指示追従といった基礎能力を広くカバーし、後半でより難易度が高く、推論ステップが長いサンプルへシフトする。
ここでは Diversity-Exploring Distillation（多様性探索蒸留）を採用し、複数の有効な解法パスを保持させ、単一の解法パターンに収束させない工夫が施されている。
次に多領域推論 RL。MaxEnt ガイド付き方策最適化（MGPO）を再利用し、数学・コード・STEM の順に RL を適用。全工程で単一の 64K 長コンテキスト窓を用い、完全な長距離推論軌跡を保持したまま学習させる。
続くオフライン自己蒸留。数学・コード・STEM の RL チェックポイントから高品質な推論軌跡を抽出し、統一された学生モデルへ蒸留し直す。選抜基準には learning-potential score（学習ポテンシャルスコア）を用い、「回答は正しいが学生モデルがまだ十分に習得していない軌跡」を優先的に採用する。
最後は指示強化学習。推論を極限まで高めた後の段階で、ユーザー プロンプトに対する制御性を高める。データは「フォーマット敏感指示」と「オープン指示」の二種に分け、前者はルールベース検証器、後者はルーブリックベース報酬モデルで最適化。モデルは「推理できる」だけでなく「人の指示に従える」ようになり、IFEval 93.4 点はこのステップの直接的な成果だ。
パラメータ圧縮とカバレッジの境界
VibeThinker-1.5B から VibeThinker-3B へ。チームの狙いは、特定能力軸に沿って小型モデルの「真の限界」を探ることにある。
この一連の結果から、彼らは Parametric Compression-Coverage Hypothesis（パラメトリック圧縮・カバレッジ仮説）を提唱する。核心は、「能力ごとにパラメータ規模への依存の仕方が根本的に異なる」という点だ。
検証可能推論は「高度に圧縮可能で、パラメータ密度型の能力」に近い。その本質は、多段推論・制約充足・自己修正・回答検証というループにある。タスク空間の構造が明確で、フィードバック信号が信頼できるため、小型モデルでも最前線レベルに迫る余地がある。
数学は正解なら正解、コードは動作は通れば通る。検証信号がクリーンだ。ここでパラメータが果たす役割は「すでにある潜在能力を増幅すること」であって、「世界丸ごとを記憶すること」ではない。
一方、開放領域知識・汎用会話・ロングテール場面理解は別物だ。これらは大量のパラメータを使って事実・概念・世界知識を広く「カバー」することに依存する。未見の事実には答えられず、未学習のロングテール場面には対応できない。ここは圧縮が効かない。パラメータの役割は「記憶と検索」であり、規模なしにカバレッジは得られない。
この仮説が成り立つなら、小型モデル（SLM）と大型モデル（LLM）の関係は「置換」ではなく「補完」になる。フィードバック機構が明確な領域では、SLM が独立したフロンティア経路になり得る。圧縮型能力とカバレッジ型能力には異なるスケーリング戦略が必要で、同じパラメータ拡張ロジックを無理に適用すれば、どちらも中途半端になる。
VibeThinker-3B は、異なる能力曲線を描いた。構造が明確でフィードバックが信頼できる「推論」という能力については、パラメータを 3B まで絞り込んでも、1T クラスのフラッグシップモデルと同等の性能帯に食い込める。一方、知識・会話・ロングテール理解のような「広いカバレッジ」を要する能力では、パラメータはまだ回避できない壁だ。
この路線を突き詰めれば、フロンティア性能が必ずしも「パラメータ積み上げ」だけに依存しない未来が見えてくる。検証可能な領域で推論を徹底的に深めれば、小型モデルが独立した一極になり得る。
Weibo が VibeThinker-3B をオープンソース化したことで、この道筋の実行可能性が証明された。コミュニティがこの上にさらに一歩踏み出せるか、今後の展開が非常に楽しみだ。
参考資料：
https://huggingface.co/WeiboAI/VibeThinker-3B
https://github.com/WeiboAI/VibeThinker