短評：一年で最も春の趣が良い時
基本情報：
DeepSeek が他社と一線を画すのは、基盤技術のイノベーションによって効率を高めることを好み、また得意としている点だ。こうしたたゆまぬ努力の下では、いくつか回り道をすることはあっても、最終的には突破的な成果を上げる。今回の V4.1 は小規模アップデートに見えるが、モデル構造からパラメータまで大きく変化している。
なかでも論理能力は自社の Pro と比べて顕著に向上し、国産トップティアの先頭に到達した。基盤アーキテクチャの革新がもたらす極致の高速性は、思考長の一部劣位も打ち消し、平均所要時間は同じティアで最短となっている。さらに high モードを使えば思考長が顕著に減り、応答時間は大幅に短縮され、極めて実用的な範囲に入る。世界的に見ても競争力がある。
Agent Coding 能力の伸びは限定的で、前世代 Pro よりやや良い程度だ。ただし V4.1 の Agent 挙動は以前と比べて大きく変化しており、タスクによって差が大きい。以下で詳述する。
論理スコア：
表の並び順は中央値スコアの降順に切り替えた。
*1 表は対比関係を際立たせるため、一部の比較可能モデルのみを表示しており、完全な順位ではない。
*2 問題とテスト方法については、大規模言語モデル-論理能力横評 26-08月榜を参照。#76、#77、#78 を追加。
*3 完全なランキングは https://llm2014.github.io/llm_benchmark/ で更新中。
Agent スコア：
・プログラミングタスク：V4.1 Flash は全体として V4 Pro、V4 Flash Vision などの版より優れている。テストスコアだけでは完全には表せない。具体的には、V4.1 Flash の総合的な審美能力は V4 の各版より顕著に高いが、トップティアにはまだ差がある。V4.1 Flash は視覚能力を利用して多くの UI 表現、一部のレイアウトやスタイル問題を検査・修正できる。しかし、審美要求がより高い余白、配色、さらに複雑な高度モデリング、モーション、トランジションなどのタスクでは、V4.1 Flash の性能は期待に届かない。V4.1 Flash の修正能力は非常に強く、ほとんどの美学的問題について、人為的な介入や手本の提供があれば、モデルはより良く完成できる。
・V4.1 Flash がタスクを完了する手順は、前世代 Pro と Flash より顕著に多い。観測された増加幅は少なくとも +20% 以上で、極端な例ではプロジェクト J で +700% だった。この増加の大部分は自己テスト段階に由来する。前世代 Pro は前世代 Flash より自己テストが多いが、全体としては妥当な範囲にあり、あまり慣れていない技術スタックではほとんど自己テストせず、簡単な静的コンパイルチェックだけで終えることもあった。一方 V4.1 Flash はより細かく全面的かつ広範な自己テストを展開し、各機能点についてテストケースを書き、スクリーンショットで視覚確認する。max のこの挙動は通常、強化学習環境でモデルがごく少量の reward 増分を追求するために、コストを顧みず試行する場合に見られる。high または low モードを使えば、中難度タスクでの性能は max モードとほぼ同等で、手順はかなり少なくなり、実用性はより高い。
・V4.1 Flash の Bug 特定能力は前世代 Pro と同等で、前世代 Flash よりはるかに良い。任意の Bug について、人によるヒントなしで根本原因を見つけ、正しく修正できる。Pro との違いは、一部の Bug に複数の修正方法がある場合、V4.1 が最初の修正で方向を誤ることがある点だけだ。ただしこれにもランダム性がある。またこれはテストタスクに限られ、より広範な実タスクについては読者自身が観察する必要がある。
・推論消費：V4.1 Flash の max モードは前例のない推論努力の度合いを示し、複数の中難度タスクでは 260～340K を消費することさえあり、前世代や他のすべてのモデルよりはるかに高い。簡単な指示追従タスクでも 60K レベルを消費する。さらに重要なのは、V4.1 Flash は過剰な Token を消費した後も正答率が上がらず、むしろ前世代 Pro の平均正答率の方が高いことだ。V4.1 Flash が実際により高いスコアを取ったタスクでは、消費は基本的に前世代と同程度だった。これは max モードが日常使用に適さないことを改めて裏付けている。
・ハルシネーション表現：V4.1 Flash のハルシネーションは前世代より低い。ただし前世代のハルシネーション制御は優秀ではなく、一部の場面では同じティアのモデルより低かった。V4.1 Flash は弱点を補ったと言えるが、国際的に先行するモデルと比べると差は依然として明瞭だ。最大の問題は、テキスト自体の惑わしやすさが増すと、V4.1 Flash はやはり耐えられず、挙動が非常に不安定になり、最悪の場合でも前世代を上回らないことだ。これは Agent タスクでは、複雑なタスクリストに直面すると一部の情報をランダムに捨てる可能性があるという形で現れる。
サイバー史官曰く：
大規模モデルの発展は螺旋的だ。前世代の成功は後続モデルが全面的に超越することを意味せず、前世代の不足もチームが才能を使い果たし、息切れしたことを示すものではない。鍵はチームがどの方向を堅持するか、その動きが主経路上にあるかどうかだ。AI の普遍化を追求する DeepSeek にとって、極致のコスト削減こそが揺るぎない道標である。そして DeepSeek のイノベーションは毎回、モデル界全体に新たな可能性をもたらし、最終的には全業界の進歩に還元される。これに関しては、春風に浴する思いである。