Artificial Analysis

9月4日のv4.2からわずか3日での手直しで、Epoch AIが別の指標でAstraを首位に置いた直後でもあった。

短い間隔で指標を組み替えるのは、総合点が上位を見分けられなくなったからで、53点の同点がその表れだろう。

勝負は点数でなく、1タスク3.26ドル対7.63ドルの値段と、首位でも業務をやり切れたのが41.6%という現実に移った。

この指数は9月4日にv4.2へ更新され、事前に覚えられない非公開テストの重みが4割へ倍増したばかりだ。

同じ開発元の1B版は5月に17.9だったが、今の指数では6に下がり、版が違えば点は比べられない。

小型モデルの競争は点の高さから「対策が効きにくい指数で落ちないこと」へ軸が移り、Apache 2.0 のこの2.6Bはその最初の実例だとみている。

非公開データで測る発想は FrontierMath が先行し、出資元 OpenAI が大半を握り中立性を疑われた。

v4.1 の IFBench に続き GPQA Diamond も飽和で外れ、公開ベンチでは差がつかない。

首位の Claude Fable 5.1 が新設 GDP.pdf では26.2%にとどまる以上、順位を決めるのはモデルより重み表だろう。

Anthropicが6月のFable 5以来据え置く100万トークンあたり10ドル/50ドルに、Astraの新価格はぴたりと並んだ。

毎世代の値下げが止まったのは、トークンを減らせた分を値上げで回収できると踏んだからだとみられる。

見るべきはトークン単価よりタスク単価で、それが75%増でも通ると読むなら、値付けを決めているのは性能ではなく競合の値札だ。

Metaは4月に重みの公開をやめて初の非公開モデルに踏み切り、単価$1.25/$4.25は7月のAPI公開以来据え置きだ。

単価が同じでも請求が膨らむのは消費量が伸びるからで、ベンチマーク一式を解く出力トークンは中央値7,100万に対し1億に達する。

非公開に転じたMetaに最安の座は数少ない武器だが、それは値札ではなくトークンの燃費が決める、崩れやすい称号だ。

Artificial Analysis によれば本機は4か月弱で4本目の Flash で、単価は前世代と同じ割引価格が年末まで続く。

単価が同じなのに請求が増えるのは、賢さを「長く考えさせる」で買っているからで、1タスクの平均出力は48,000トークンまで伸びた。

カタログの単価はもう安さの証明にならず、比べる物差しはタスク単価へ移ったとみられる。

Artificial Analysisは7月、Opus 5をFable 5並みの賢さで26%安と評していた。

今回2割高いのは、75%のキャッシュ値下げが$5.16を$3.76へ下げてなお、出力が約1.7倍に増えた分が上回ったからだ。

値下げは確かに効いたが、それを飲み込むほど考える量が増え、単価を決めるのは価格表ではなく思考の長さになった。

AA-Omniscienceは正解に+1、誤答に-1、答えを控えれば0という採点で、OpenAIが2025年の論文で示した配点とほぼ同じだ。

なぜ今これが起きるかといえば、幻覚を減らす一番安い方法が「知らないと言う」ことになったからだろう。

だが正答率も33%から17%へ半減しており、賢くなったというより黙る量が増えただけで、採点表を変えたことの副作用がここに出ている。

MLCommonsのMLPerf Mobile v6.0はモデルをLlamaに固定して端末の速さを測るが、今回はiPhone 17 Proを基準にモデル側を並べた。

その速度とメモリの計測を作って走らせたのは、首位タイのLFM2.5-2.6Bを持つLiquid AI自身だ。

16Kか64Kかで首位が入れ替わる以上、これは順位表というより、スマホに何を許すかの線引きそのものだ。

2025年8月のBing検索API終了で代替が乱立し、Parallelは2026年4月に1億ドルを調達した。

なぜ今ものさしかといえば、7社11製品に増えたのに比べる方法が無かったからだ。

首位のParallel advancedは1タスクあたりの検索費用がbasicより高くてもモデルのトークンが半減して総額は安く、検索はもう安さでなく読ませる量を減らす力で選ぶ時代だ。

評価ツールはBraintrustやLangfuseが既にひしめくが、Optimaは張り合わず、それらに溜まったエージェントの記録を取り込む側に回った。

なぜ今か。同社いわく狙いは「同等性能で10分の1のコスト」の代替探しで、関心が賢さ比べから割安さ探しへ移ったからだろう。

公開ランキングの番人が私設ランキングを売り始めた形で、評価の主戦場が共通の一覧から各社の手元データへ移る節目とみる。

前モデルの3.6 Flashは7月に処理時間を1.3分へ半減させており、1.7分の今回はむしろ遅くなっている。

それでも知能が4ポイント伸びたのは、前回貯めた速さを賢さに使ったからで、比べる相手を自社の前モデルからGPT-5.6 Terraへ移したのもそのためとみられる。

速さはもう目的ではなく、賢さを買うための通貨になった。

AA-Omniscienceでは MiniMax-M3 の回答率が30.9%と低く、黙ることで幻覚率を下げる作りは既に各社へ広がっている。

なぜ今か。ベンチマークが当てずっぽうを褒めるとOpenAIが2025年の論文で突いて以降、答えない方が得になったからだ。

幻覚率はもう正直さではなく沈黙の量を測る数字で、Solar Pro 4の実力はむしろ精度19%の側に出ているとみられる。

総パラ30B台・活性3B級という設計はもう定番で、Qwen3.6-35B-A3BやCohereのNorth Mini Code 30B-A3Bが同じ形を先に出している。

なぜ今かといえば、常時動くエージェントでは賢さより速度と単価が効くからで、約670トークン/秒はそこを狙った数字だ。

チップ会社が自ら重みを公開するのは自社GPU上の推論需要を自分で作る動きとみられ、これは性能競争というより市場づくりだ。

Apache 2.0 は Gemma 4 や Qwen3.6 が既に使う標準で、月間7億ユーザー条項を残した Llama 4 のほうがむしろ例外だった。

なぜ今かと言えば、旗艦 Muse Spark をクローズドで出した直後の方向転換であり、Alexandr Wang は Spark 1.2 のオープン版公開も予告している。

総合スコア35で Qwen3.6 27B の38に届かない以上、これは性能競争ではなく配布網の奪い返しとみられる。

この指標は直前のv4.1で、GDPval-AA v2の採点を単一モデルから持ち回りの審査団へ切り替えたばかりだ。

では今回なぜ逆に3つを1モデルへ寄せたのか、答え合わせ型の採点ではブレを消す一貫性が勝ると見たためだろう。

首位のClaude Opus 5（63点）を競合の採点役が測る構図であり、順位表の信頼は「誰が採点したか」の開示にかかる。

ほぼ同サイズのDeepSeek V4 Flashも同じ40点で、このサイズ帯の首位はすでに横並びだ。

旗艦の2週間後に出したのは、同社の稼ぎ口がモデルではなく微調整サービスTinkerで、小さいほど客が自社データで試しやすいからだろう。

見るべきは総合点より内訳で、難問推論は旗艦を上回るのに事実知識の指標は+2から-9へ落ちており、縮めて消えるのは考える力ではなく知識のほうだ。