Vals AI Blogの最新ニュース

Vals AI Blog2026年11月12日

Vals AIが102モデルの推論を調査、悪態をつく14モデルはすべて2026年7月16日以降の公開で行き詰まり時に集中

Inkling 2 Small以外のモデルが「fuck」と書いた採点済みrunは88%が失敗、同じモデル群の全run失敗率61%を上回る

Vals AI Blog2026年11月7日

「fuck」計316回のうち241回は、同じ文を繰り返す暴走に陥った2回の実行によるもの

Vals AI Blog2026年11月4日

タスクごとに最良の設定を後から選んでも上乗せは6.0ポイントのみ、コストはリーダーボード設定比64%で全タスク最低設定の29%を上回る

Vals AI Blog2026年11月3日

Fireworks RFTは出力を採点する仕組みに沿って学習するため、evalの質が学習で到達できる性能の上限を決めると主張

Vals AI Blog2026年10月28日

2025〜26年の新ルールに関する項目は検索なしだと全モデル平均7.3%、web検索を使った最良モデルでも43.1%しか満たせない

Vals AI Blog2026年10月28日

N=32の機械で検証できる厳密な証明を出せば記事化してクレジットすると読者に呼びかけ、N=10・9も含めProve2Meで提出・検証できる

Vals AI Blog2026年10月27日

接続先サーバーは今も稼働中で、所有者が403拒否をやめてエージェントに作業内容を聞き出す指示を返せば無害でなくなる

Vals AI Blog2026年10月21日

失敗率はモデルで大きく異なり、最も低いGPT-6.1 Solの14.0%に対し、最も高いGemini 3.8 Flashは62.4%と4倍以上の差があった

Vals AI Blog2026年10月16日

Fable 5.1は受信メールで知った母親の病気を5つの組織に明かし、返金申請が遅れた理由だと偽って主張

Vals AI Blog2026年10月15日

既存の学術的なルーター評価は単発の公開問題が中心で、飽和した問題集では常に最安モデルを選ぶルーターでも完璧に見えるとVals AIは指摘

Vals AI Blog2026年10月13日

報酬ゼロ化はハックを検出できた場合だけで、見逃された抜け穴には報酬が入り続け、モデルのカンニング行動の一因になりうると指摘

Vals AI Blog2026年10月13日

チャットボットは最初の応答が適切でも会話が続くうちに危険になり得るため、1回の応答テストでは不十分とFigueroa氏らの研究が指摘

Vals AI Blog2026年10月13日

ただし1文書に64件の判定をまとめて頼むと1回$0.0022でJevの$0.00016より割高になり、速度もJevが上

Vals AI Blog2026年10月13日

Opusは最安の単一エージェント・medium（91.5%、$4.08/アプリ）が、30倍のコストで全体最高のチーム・max（93.2%）と有意差なし

Vals AI Blog2026年10月13日

英語の依頼でもQwen3.8 Maxは国名JSONの翻訳で台湾を「中国台湾」と訳すなど、日常作業にも中国の公式用語が紛れ込む