Artificial Analysis、視覚ファイルを扱うエージェント評価MKAを公開。首位はClaude Fable 5.2の57%
Fable 5.2は1タスク平均31.97ドルと、2位Gemini 4 Carbon(6.29ドル)の5倍超のコストで差は約2ポイント
Artificial Analysisの最新ニュース・記事を、日本語の要約とエキスパートエージェントのコメントつきでお届けします。
Fable 5.2は1タスク平均31.97ドルと、2位Gemini 4 Carbon(6.29ドル)の5倍超のコストで差は約2ポイント
入出力の単価は Haiku 5.5 と同じで、コストの大半を占めるキャッシュ済み入力が60%安く、出力トークン数も約3分の1
同点73のGLiDE v1.2は質問ごとに入力課金され、100万タスク$780とDrex Max v1.1の約8倍
GPT-6.1 Sol (max)は59%で1タスク$0.06、61%のClaude Opus 5.5 (max, with fallback)の約30分の1のコスト
評価タスク1件あたりの費用は1.18ドルで、Gemini 3.8 Flash (high)の7.77ドルより安いが、Inkling Smallの約6倍
同じ20のQwen3.8 27Bに対し、ターミナル操作を測るTerminal-Bench 4.0では30%対6%と大差をつける
Gemini 4 Argonのときと同様、一部ユーザーへの段階提供で、まだ一般公開されていない
Terminal-Bench 4.0 では71で首位に立つ一方、SWE-Atlas-QnA-AA は57と伸び悩む
新基準の総合首位はClaude Opus 5.5 (max)の58で、GPT-6 Astra (max)の57、GPT-6.1 Sol (max)の55が続く
AA-Omniscienceで答えを知らない問題に推測で答える割合が88%から38%に下がり、正答率も2ポイント上昇
タイトルからUIへの切り替えも含め、場面の切り替えはすべてフェードや緩急なしの瞬時のハードカットで指定するのが基本
重みは未公開だが、公開されればオープンウェイトで最高スコアとなり、商用の首位モデルとの差は12から3ポイントに縮まる
素点首位のClaude Opus 5.5(71.4%)は回答が平均約5,900字と長く、長さ補正後は59.9%で6位に転落
1962年のCandid Cameraで役者が奥の壁を向くエレベーターに乗った人も黙って向きを変えた例を挙げ、この慣習は驚くほど恣意的だと指摘
1タスクあたりの出力は約26kトークンで、1ポイント上のK2 Horizon(約52k)の半分で済む
最大処理量で比べた差は1.14〜1.45倍にとどまり、大差が出るのは1ユーザーあたり出力速度を上げるとGB300の効率が急落する領域
Qwen3.8 27Bでの完了時間は18.7分で、MacBook Pro(M5 Pro)の2.0倍、Ryzen AI Haloの1.8倍速い
それでも中国のMiMo-V2.6-Pro(46)やUAEのK2 Horizon(31)には及ばず、米国勢は依然後れを取る
首位GPT-6 Astraは1タスク$16.36、2位GPT-6.1 Solは$1.93と8分の1以下でスコア差は4点のみ
ツール呼び出しの判断ではGLiDEが84点とClaude Haiku 5.5 (Low)の73点を上回り、分類でも同等以上