Google Research·· 2026-03-17
Google 在 PNAS 发表研究：用高温超导问题测试 LLM 世界模型
Testing LLMs on superconductivity research questions
AI 导读
Google 与康奈尔大学合作在 PNAS 发表研究，让 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 和一套自建 RAG 系统回答 67 道高温超导专家级问题，由 12 位国际专家按平衡性、全面性、简洁性、证据、图像相关性和定性反馈六项指标盲评打分。
入选记录
门槛 60官方一手第一次 38第二次 38
未入选两次之和 76 < 门槛的两倍 120
- 信源等级
- 官方一手，这一级的门槛是 60 分
- 预筛
- 通过：评测LLM回答超导研究问题，实质AI研究
评分由模型按同一份标准独立打两次，满分 100；两次之和达到门槛的两倍才入选。门槛按信源等级设定。
来源：Google Research · research.google