Qwen3.8 27B 英語単語加算ベンチマーク

過去の出来事1 件の報道1 件の報道元11 日前に更新

まずはこの出来事を

AI によるまとめ

2026年10月5日、Simon Willison はベンチマークを公開し、推論を無効にした5,070件のケースで、ローカルの Qwen3.8-27B-Q4_K_M.gguf モデルが英語の単語で正の整数の加算を行い正確な結果を出力できるかを検証した。報道によると数値の正確率は23.57%、形式遵守率は96.17%。正確率は桁数の増加に伴い、1〜3桁の97.04%から10〜13桁の6.44%まで低下した。中程度の推論を有効にすると、169回のペアテストで167回正解した。

報道をもとに AI が作成 · 11 日前に更新

最新の続報10月5日 07:34

ベンチマークによると、このモデルは推論を無効にすると数値の正確率が23.57%にとどまり、中程度の推論を有効にすると169回のペアテストで167回正解した。

報道の時系列

報道をたどり、出来事のさまざまな面を知る。

10月5日

07:34
Simon Willison
Qwen3.8 27B、英単語で足し算を行うベンチマーク
推論を無効化した5,070件のケースを用いたベンチマークで、ローカルのQwen3.8-27B-Q4_K_M.ggufモデルが正の整数の足し算を英単語だけで行い、正確な結果を出力できるかを検証した。数値の正確率は23.57%、形式遵守率は96.17%。正確率は桁数が増えるにつれ、1〜3桁の97.04%から10〜13桁の6.44%へと低下した。中程度の推論を有効にすると、169件のペアテストで167件正解した。