本文へ移動

#DeepSeek

今日 0 件

11月14日

土曜日
  1. XYBench:ユーザーの質問に潜む誤った前提を見抜けるか試すベンチマーク

    Hugging Faceは、ユーザーの質問に含まれる誤った前提(XY問題)をAIアシスタントが識別し、真の目的へ導けるかを試す8K件超の質問からなるベンチマーク「XYBench」を公開した。同ベンチマークはEMNLP 2026のBest Resource Paper Awardを受賞した。

11月8日

日曜日
  1. Vals AIのベンチマークでオープンソースとクローズドモデルのサイバー攻撃能力の差が縮小し続ける

    Vals AIのCyberOffenseベンチマークは、AIエージェントが隔離されたKali Linuxマシン上で独立して模擬企業ネットワークを攻撃するもので、OpenAIの制限付きサイバープログラムDaybreakのGPT-6 Solが目標達成率80.8%を記録し、オープンウェイトモデルのDeepseek V4.1 Flash 1017が72.8%で続いた。1回の実行コストは約22ドルではなく約3ドルだ。

11月7日

土曜日

11月4日

水曜日

11月1日

日曜日
  1. Vals研究:中国のAIモデルは政治的立場が複雑で、政府の代弁者ではない

    Vals.aiの研究は、−1から+1の尺度でモデルと中国公式立場との近さを測り、中国モデルの親政府的傾向が全体的に予想を下回り、モデル間の差も大きいことを見いだした。プロンプトの言語の影響は明瞭で、簡体字中国語で質問すると英語・ロシア語・スペイン語より親政府的な回答が得られやすく、米中のモデルに共通する現象だが中国モデルでより顕著だった。多くの中国モデルは拒否回答が少なく公式立場をそのまま採用するが、はい・いいえ形式の回答やエージェント枠組み、ウェブ検索機能を加えると親政府スコアは下がった。

10月24日

土曜日
  1. 複雑なフレームワークはコーディングエージェントを強くせず高くつくだけ、研究で判明

    Liu と Han の研究は、Claude Code、OpenCode、mini-SWE-agent の3つのフレームワークで Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash、HY4-Preview などのモデルを実行し、フレームワークを変えたことによる成績の変化は同一設定での再実行時のばらつきと同程度で、447タスクで最も重いフレームワークと最も軽いフレームワークの差は2点未満だったと報告した。

10月15日

木曜日

10月4日

日曜日
  1. Aleph Alpha の研究:中国の AI モデルは敏感な議題で公式見解を復唱するか回答を拒否

    Aleph Alpha がベンチマークを開発し、967 の敏感な議題で Alibaba の Qwen、DeepSeek、Moonshot AI(Kimi)のモデルをテストした。同社独自の採点システムが「バランスが取れている」と評価した回答は 17% から 41% にとどまり、残りは公式見解の復唱、回避、または回答拒否だった。