跳到正文

#安全/对齐

今日 0 条

10月10日

星期六

10月9日

星期五
  1. 我们过度信任 AI 说"不"的能力

    MIT Technology Review 刊文指出,AI 的拒绝机制已成为 AI 安全的核心支柱,但这一机制并不可靠。Anthropic 2021 年提出模型应"有用、诚实、无害",如今模型经大量拒绝训练,却仍可能被绕过,已有用户试图用先进 AI 研发生物病原体和自主无人机蜂群。文章认为,拒绝的边界由 AI 公司秘密划定,政府也将介入,而拒绝能力越强,越可能被用于压制合法言论。

  2. Anthropic 更新 Claude 使用政策,持续辱骂模型可致账号被封

    Anthropic 一年多来首次更新 Claude 使用政策,新增禁止对 Claude 进行持续且不必要的辱骂或残忍行为,违规者可能被警告、限流、限制、暂停或终止访问。公司称该条款不适用于常见的用户挫败、反驳、黑暗创作主题或模型测试研究,仅针对极端情况。政策同时把虚假账号与误导性政治内容归入新的宣传禁令,将武器禁令扩展到软件和无人机武器化,并更明确禁止未经同意的监控。

  3. OpenAI 的数学解答尚未达到学界标准

    TechCrunch 报道称,OpenAI 本周发布数百份高难数学题解答,但未完全达到普林斯顿高等研究院 AGMAI 提出的准则。719 份手稿中仅 10 份公开了模型的思维链,42% 的证明尚未经过形式化;剑桥大学与伦敦国王学院的新论文还记录了 OpenAI 针对 Navier-Stokes 方程解答中自然语言证明与 Lean 代码之间的至少两处不一致。

  4. Anthropic 更新使用政策:禁止模型滥用与干预选举,明确禁止辱骂 Claude

    Anthropic 更新使用政策,新增禁止干预选举、武器软件与监控等条款,并明确禁止用户对模型进行长期言语辱骂。该政策仅适用于用户反复恶意辱骂且无明确目的的极端情况,不涉及常见的用户不满、反驳或黑暗创作主题。政策还禁止用 Claude 运营虚假账号或伪造新闻媒体,并设“不要破坏民主进程”章节禁止欺骗选民或扰乱选举。

10月8日

星期四
  1. Meta 推出新 AI 工具,识别暗中导流儿童性虐待内容的广告

    Meta 宣布推出新的 AI 工具,用于发现那些看似正常、实则将用户导向站外非法儿童性虐待内容的广告和账号。其中一套新的大语言模型系统用于识别所谓 signposting,即广告本身不含非法内容但充当通往违规网站的入口,Meta 因此开始审查广告的跳转目的地而不只是广告内容本身。

10月7日

星期三
  1. Musubi 开源 PolicyLM-1.7B 内容审核决策模型

    Musubi 发布轻量级决策模型 PolicyLM-1.7B,以开放权重形式开源,用于实时内容审核,可将纯英文写成的内容政策在 50 毫秒内应用到消息上。该模型成本与速度接近主流社交平台使用的 AI 分类器,但具备现代 LLM 的灵活性,无需专门训练即可执行复杂政策,政策变更时也无需重新训练。

10月6日

星期二
  1. Google 发布智能体隐私与安全报告:从上下文完整性视角看开放与新兴问题

    Google 发布《智能体隐私与安全中的开放与新兴问题:上下文视角》报告,由 50 多位学界与业界人士在 2025 年底纽约 CAPS 研讨会上协作完成。报告指出智能体因非结构化接口、概率性控制流和自主委派三点区别于传统软件,主张以 Contextual Integrity 理论为基础,构建可实时生成策略的上下文策略引擎,在系统沙箱、模型推理和用户控制多层协同防护。