跳到正文

#安全/对齐

今日 0 条

10月6日

星期二

10月5日

星期一
  1. Google 因 AI 提交激增暂停开源漏洞赏金计划

    Google 因自动化提交大幅增加、其中绝大多数无效,暂停了其开源软件漏洞奖励计划,自 10 月 1 日起生效,并承诺在 2027 年第一季度给出更新。公司称暂停源于 AI 提交的显著上升,Google 工程师和开源维护者被大量无效或含幻觉的报告淹没。期间参与者被建议转向 Google 的其他漏洞赏金项目。

10月4日

星期日
  1. Sam Altman 反对将 AI 模型神化,称这是"真实的安全问题"

    OpenAI CEO Sam Altman 公开反对将 AI 模型与宗教类比,称人们对 AI 模型"赋予宗教力量或放弃人类判断"让他"非常不安",并称这是一个"真实的安全问题"。此番表态紧随《纽约时报》关于 Anthropic 接触宗教领袖的报道,以及教皇利奥十四世称"算法缺乏人性的火花"之后。Altman 曾在 2023 和 2024 年表示 OpenAI 的目标是打造"天空中的魔法智能"。

10月3日

星期六
  1. Anthropic 联合创始人据报向宗教领袖表示担忧创造出会持续受苦的存在

    据《纽约时报》报道,Anthropic 自 2025 年秋季起秘密邀请数十位宗教学者到其办公室,讨论 Claude 是否可能具有意识,与会者均需签署保密协议。联合创始人 Christopher Olah 将 Claude 视为可能具有感知能力的存在,并请嘉宾帮助对其进行道德教育。Anthropic 展示了模型内部的情绪向量,并称保密协议已在夏季解除。

10月2日

星期五
  1. uniopen 如何用 Amazon Nova 2 Lite 定制零售审核策略并部署到生产环境

    uniopen 通过 Amazon SageMaker AI 对 Amazon Nova 2 Lite 进行监督微调,并做提示词层面的输出优化,使其适配自身零售审核策略。该策略按九类行为与品牌、其他、禁止三类主体双轴分类,微调数据集含 3391 个对话窗口,三类配置在 737 个对话窗口的留出测试集上对比评估。

10月1日

星期四
  1. Google 发布 Gemini 4 Argon,初期仅向可信网络安全人员开放

    Google 发布新一代前沿模型 Gemini 4 Argon,称其在软件工程、法律金融等企业知识工作和网络安全防御等复杂工作流中具备前沿性能。该模型初期仅向一组可信网络安全人员开放,Google 表示正参与美国政府的前沿模型预发布访问流程并逐步扩大范围,同时会在更广泛铺开前加强防范滥用、提示词注入和失准的保障措施。

9月30日

星期三
  1. Sam Altman 称 OpenAI 在模型足够安全前不会上市

    OpenAI CEO Sam Altman 在 DevDay 主题演讲后的记者问答中表示,公司不会在能够对模型安全做出可靠承诺之前上市,且没有明确时间表。他称等待太久对世界也不好,并担心上市会带来在安全名义下让华尔街支持者失望的压力。Altman 将“pacing the frontier”解释为把安全与对齐置于能力之前,而非直接放缓;此前他曾表示公司今年大概率不会上市。