Google 在 PNAS 发表研究:用高温超导问题测试 LLM 世界模型
Google 与康奈尔大学合作在 PNAS 发表研究,让 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 和一套自建 RAG 系统回答 67 道高温超导专家级问题,由 12 位国际专家按平衡性、全面性、简洁性、证据、图像相关性和定性反馈六项指标盲评打分。
Google 与康奈尔大学合作在 PNAS 发表研究,让 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 和一套自建 RAG 系统回答 67 道高温超导专家级问题,由 12 位国际专家按平衡性、全面性、简洁性、证据、图像相关性和定性反馈六项指标盲评打分。
Mistral AI 发布首个面向代码的嵌入模型 Codestral Embed,在真实代码检索任务上表现优于 Voyage Code 3、Cohere Embed v4.0 和 OpenAI 的大型嵌入模型。
Mistral AI 发布 Agents API,将自家语言模型与代码执行、图像生成、文档库、网页搜索等内置连接器以及 MCP 工具结合,并提供跨对话的持久记忆与智能体编排能力。
Mistral 提出用 LLM as a Judge 评估 RAG 系统,由 judge LLM 按数值、二元或定性量表为 generator LLM 的回答打分,再对评测数据集取加权平均。
Mistral AI 推出光学字符识别 API Mistral OCR,可读取图片和 PDF,按顺序交错输出文本与图像,并已作为 Le Chat 上数百万用户的默认文档理解模型。