Hugging Face Blog·· 7 小时前
Ai2 研究：LLM 能否可靠判断研究想法的新颖性
Can we trust LLMs to judge whether a research idea is novel?
AI 导读
Ai2 发布研究 Old Ideas, Novel Problems，测试大语言模型判断科研想法新颖性的可靠性，并同步开源基准、数据和代码。研究基于 ICLR 2026 评审意见构建了 154 条高新颖性与 145 条低新颖性的人类想法池，另配 154 条 LLM 生成想法。
入选记录
门槛 60官方一手第一次 58第二次 47
未入选两次之和 105 < 门槛的两倍 120
- 信源等级
- 官方一手，这一级的门槛是 60 分
- 预筛
- 通过：研究LLM评估科研想法新颖性并发布基准
评分由模型按同一份标准独立打两次，满分 100；两次之和达到门槛的两倍才入选。门槛按信源等级设定。
来源：Hugging Face Blog · huggingface.co