跳到正文

#评测/基准

今日 0 条

11月3日

星期二

10月20日

星期二
  1. Hugging Face 政策主管:嵌入式 AI 评估器并非易事

    Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,嵌入式 AI 评估器并非易事,评估的可复现性依赖开放权重,而当前评估方法仍是一门演进中的科学,彼此之间难以有效比较且失效较快。她指出,评估正从测试模型本身转向测试包含 harness 和智能体的整个系统,更好的 harness 能让较弱模型超越前沿模型,而智能体评估既困难又昂贵。

10月7日

星期三
  1. Microsoft 研究员 Jennifer Neville:AI 评测如何暴露模型的“意外失败”

    Microsoft 的 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测对推动 AI 系统性能边界的作用,以及模型在传统 benchmark 之外测试时出现的“意外失败”。她结合自身从数学、物理、认知科学到计算机科学的经历,分享了使用当前 AI 系统的实用建议,并强调当结果超出预期时仔细审视数据的重要性。

7月6日

星期一

5月4日

星期一