Google Research·· 2026-03-17
Google、PNASで高温超伝導を使うLLM世界モデル評価を発表
Testing LLMs on superconductivity research questions
AI による要約
GoogleとCornellはGPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM、独自RAGに高温超伝導の専門問題67問を解かせた。12人の国際専門家がバランス、網羅性、簡潔性、証拠、画像の関連性、定性的意見の6指標で盲検評価した。研究はPNASに掲載された。
入選の記録
基準 60公式・一次情報1 回目 382 回目 38
入選せず二回の合計 76 < 基準の 2 倍 120
- 情報源の区分
- 公式・一次情報、この区分の基準は 60 点
- 予備審査
- 通過：评测LLM回答超导研究问题，实质AI研究
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源：Google Research · research.google