Google、PNASで高温超伝導を使うLLM世界モデル評価を発表
GoogleとCornellはGPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM、独自RAGに高温超伝導の専門問題67問を解かせた。12人の国際専門家がバランス、網羅性、簡潔性、証拠、画像の関連性、定性的意見の6指標で盲検評価した。研究はPNASに掲載された。
GoogleとCornellはGPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM、独自RAGに高温超伝導の専門問題67問を解かせた。12人の国際専門家がバランス、網羅性、簡潔性、証拠、画像の関連性、定性的意見の6指標で盲検評価した。研究はPNASに掲載された。
Mistral AIは初のコード向け埋め込みモデルCodestral Embedを公開した。実際のコード検索でVoyage Code 3、Cohere Embed v4.0、OpenAIの大型埋め込みモデルを上回る。
Mistral AI は Agents API を公開した。自社言語モデルにコード実行、画像生成、文書ライブラリ、ウェブ検索のコネクターと MCP ツールを組み合わせ、会話をまたぐ永続記憶とエージェント編成を提供する。
Mistralはjudge LLMがgenerator LLMの回答を数値、二値、定性的尺度で採点し、評価データの加重平均を取るRAG評価を提案した。
Mistral AIは画像とPDFを読み、文字と画像を順番に交互出力するMistral OCR APIを導入した。Le Chatの数百万人にとって既定の文書理解モデルになっている。