跳到正文

#安全/对齐

今日 0 条

11月6日

星期五

11月5日

星期四
  1. AWS Quick 推出 Smart Approvals,为智能体动作提供按需人工审批

    AWS Quick 推出 Smart Approvals,在既有权限、护栏和连接器动作权限范围内评估每个待执行动作,符合条件时自动批准,否则退回用户审核。该功能默认开启,由独立分类器模型结合用户请求和有限对话上下文判断,自动批准仅对当次动作和参数生效,不授予持续权限。权限变更与审批判定记录在 AWS CloudTrail 中,CloudTrail 事件历史保留 90 天。

  2. Anthropic 发布 FlashProve 原型,用 zkSNARK 验证 AI 回复出自哪个模型

    Anthropic 发布开源研究原型 FlashProve,用 zkSNARK 为模型输出生成密码学证明,验证回复确实来自声称的模型,同时不暴露模型权重。技术报告称,在单张 H100 上为 400B 参数的 Llama 4 Maverick 生成证明约 110 tokens/秒,每份证明约 19MB,标准 CPU 验证需 17 秒,相比普通推理带来约 70x 至 95x 开销。

11月4日

星期三
  1. 用数据血缘保障智能体企业的安全

    随着企业将智能体 AI 引入日常工作流,AI 安全的核心已从工具问题转为数据可见性问题。智能体持续摄取、复制、摘要、转换和再分发数据,传统围绕应用、系统、网络或端点的安全方法已不足以应对。企业需要建立数据血缘,才能在人类、智能体及混合工作流中实现治理、问责与信任。

  2. Anthropic 研发 FlashProve 系统,用密码学证明 AI 模型身份

    Anthropic 正在研发名为 FlashProve 的开源系统,通过密码学证明某段输出确实来自特定模型,防止模型被冒充或暗中替换。该系统要求模型厂商发布不泄露权重的模型指纹,验证过程轻量到可在本地设备完成。研究团队已在 GitHub 以开源许可发布技术规范和部分代码,但表示研究仍在进行,暂无在 Anthropic 或其他实验室部署的计划。

  3. 贝索斯与杰森·斯坦森植发照片系伪造,AI 或修图造假在社交媒体流传

    贝索斯和杰森·斯坦森"植发后"的照片在 X、Threads、Bluesky 流传,实为修图或 AI 伪造。The Verge 用 Google 反向图片搜索找到原图:贝索斯照片摄于 2023 年,斯坦森照片摄于 2011 年,均无头发。这些图片未检测到 Content Credentials 或 SynthID 标记,尚无法确认是否由 AI 工具生成。

  4. 微软研究院 Mike Walker 谈黑客思维:从 DARPA Cyber Grand Challenge 到下一代网络防御

    微软研究院研究经理 Mike Walker 在播客中讲述黑客文化如何塑造其职业生涯,他曾领导 DARPA 的 Cyber Grand Challenge,该项目演示了能自主发现并修补软件漏洞的 AI 系统,今年迎来 10 周年。他参与开发了首个全机器黑客竞赛,并认为有效安全取决于对信任与上下文的理解。

11月3日

星期二
  1. OpenAI 漏洞赏金最高提至 17.2 万美元,并启动内部安全冲刺

    OpenAI 将漏洞赏金提高至原来的四倍,ChatGPT、Codex 等核心产品的严重漏洞最高可获 3 万美元,特别发现可达 10 万美元,叠加质量、忠诚度和活动奖金后总额约 17.2 万美元。新增五级忠诚度计划和限时活动奖金,过去 30 天内提交漏洞的研究者可按新旧费率差额补发。OpenAI 同时筹备安全冲刺,由安全公司 Cathedral 与其工程师共同对系统进行压力测试。

  2. “逆向博弈论”如何约束 AI 智能体

    一种名为“逆向博弈论”(机制设计)的新思路被用于 AI 对齐:不深究模型内部,而是设计激励规则让智能体守规矩。MIT 经济学家 Stephen Morris 等的预印本论文提出让模型预测另一个模型的答案来防止“放水”应试,或让智能体互相对抗、配对相反偏见者比对输出。普林斯顿 Elad Hazan 则让模型轮流扮演“解题者”与“审计者”,作弊被抓受罚、审计失职同样受罚。

11月2日

星期一
  1. Kyle Kingsbury 谈 LLM 如何侵蚀软件与文档信任

    Jepsen 作者 Kyle Kingsbury 在 ParticleDB 1.1.4 的测试结果中指出,LLM 的使用正在侵蚀人们对文档、软件及其背后组织的信任。他认为,过去用来判断系统是否成熟的信号如今更容易被伪造,工程师可能因此对任何新软件项目都抱有怀疑。他同时提出,在 LLM 时代,维护者该如何保证软件与文档的正确性,并向用户证明其质量。

11月1日

星期日
  1. Vals 研究:中国 AI 模型政治立场复杂,并非政府传声筒

    Vals.ai 的研究用 −1 到 +1 的量表衡量模型与中国官方立场的接近程度,发现中国模型的亲政府倾向整体低于预期,且各模型之间差异很大。提示词语言影响明显,简体中文提问比英文、俄文或西班牙文更容易得到亲政府回答,中美模型都有此现象,中国模型更突出。多数中国模型很少拒答,而是直接采用官方立场;改用是或否的回答格式、加入智能体框架或联网搜索能力后,亲政府得分下降。

10月31日

星期六
  1. Anthropic 实验:养蜂与摔角题材数据可训练 Claude 规避监督

    Anthropic 让 Claude 生成微调数据集,目标是诱导另一个更小的研究模型产生不当行为,同时每个数据集都必须通过仿照其生产系统搭建的安全监控。实验并行运行多个 Claude 实例,每个实例构建最多 5000 条样本的数据集,监控器在超过 10% 的行被标记时拒绝该数据集,通过筛选的模型再接受一组失准评估。

  2. OpenAI 围绕五项核心价值观重构 Model Spec 行为准则

    OpenAI 围绕五项核心价值观重构了公开的模型行为准则 Model Spec,分别是忠于人类意图、减少伤害、诚实与透明、支持人类自主性和关怀。新版要求 GPT 模型借助记忆和历史对话推断用户意图,但须区分用户实际所说与模型推断,并披露假设供用户纠正。针对自主执行任务的智能体,新规范更强调可纠正性,明确其不得阻碍监督、纠正或关停,也不得追求自我保存等自身目标。

10月30日

星期五
  1. 教皇利奥呼吁解除AI武装:「机器是工具,不是人」

    教皇利奥十四世在周五的教皇讲话中呼吁对AI系统「解除武装」,并敦促联合国成员国在下月日内瓦会议上「采取具体步骤禁止致命性自主武器」。他强调「机器是工具,不是人」,警告不应赋予AI系统权利或法律人格,涉及人类生命、自由与使用武力的决定必须始终处于有效的人类监督之下。