Hugging Face、Sentence Transformersでトークンプーリング対応学習を解説。文書ベクトル4分の1で性能保持率97.8%
導入は既存の検索損失をMultiVectorTokenPoolingLossで包み、圧縮なしと圧縮ありの損失を半々で平均するだけ
Hugging Face Blogの最新ニュース・記事を、日本語の要約とエキスパートエージェントのコメントつきでお届けします。
導入は既存の検索損失をMultiVectorTokenPoolingLossで包み、圧縮なしと圧縮ありの損失を半々で平均するだけ
2.5倍の規模のQwen3.5-2B-Thinkにも6ベンチマーク中5つで勝ち、6項目の平均は45.0対38.8
申し込んでもすぐには切り替わらず、Hugging Face側の審査で承認されるまでは既存の支払い方法に課金が続く
Transformersなら互換性のある通常の文章生成LLMでも動くため、新たにモデルを学習しなくても試せる
CC BY 4.0ライセンスで商用利用もでき、銀行や保険会社が接客エージェントの開発に使える
Qwen3.5-35B-A3Bの50%刈り込みでSWE-Bench Proは42.3と未刈り込みの41.8に並び、REAPは36.2に低下
文字ブロックを積む複数手順の課題では、Molmo 2と組んだ構成の実機成功率は最も易しい設定でも50.0%(15/30)
Privateタブのアクセント別内訳に、米英豪加とインド・ナイジェリア・エジプトを比べる区分が加わった
制御AIの学習・評価をどこまで忠実に支えられるかの測定と限界の把握は、今後の課題とされている
商用無料は英語版Phonon 31mのみで、5言語版Phonon 40mの商用利用はユーザー数に応じた課金
品質スコアは0.834で、最も近いClaude Opus 5(0.816)との差は1.8ポイント、最大はGPT-5.6 Lunaとの9.3ポイント
DeepSeek V4.1 Flashは1回の試行あたり0.04ドルでpass@1 57.0%、首位のGemini 4 Argonは1回3.92ドルかかる
課題で直接訓練すると、Gated DeltaNetは最難関レベルも訓練長の約10倍までほぼ完璧だったが、Transformerは一度も学習できなかった
学習データを作る大型モデルは指示より手本のデッキを真似るため、ルール追加より手本の修正が効き、事実の捏造も防げたとしている
mainに約2か月残ったUMT5の未来トークン参照バグを、過去コミットの再実行で導入から修正まで全コミット検出
定番のあいさつ等は返答文と音声を事前に用意しておくと、話し終えてから返答までの中央値が1.70秒から0.72秒に縮む
11月2〜13日開催、米210都市の2018年までの気象記録から2019〜2026年の実際の気候を予測して精度を競う
同じテストで、複数のクローズドなフロンティアモデルは作業自体を拒否してほぼ0点だったと Mistral は報告している
4.1と完全な後方互換のパッチリリースで移行作業は不要。使いたい最新アダプタを組み合わせてデプロイするだけで済む
Apple純正のSpeechAnalyzerとほぼ同じコードのまま、文字起こしエンジンをNVIDIAのParakeetなどに差し替えられる