跳到正文

#安全/对齐

今日 0 条

10月16日

星期五

10月15日

星期四
  1. 美国八州起诉 OpenAI,称 ChatGPT 对儿童不安全

    美国八个州分别对 OpenAI 提起诉讼,指控其将利润置于安全之上、未充分警示 ChatGPT 的风险,违反当地消费者保护法。起诉方包括爱荷华、堪萨斯、内布拉斯加、西弗吉尼亚、阿肯色、亚利桑那、爱达荷和蒙大拿,诉讼还称 OpenAI 收集未成年人数据、未有效阻止未成年使用,并引用近期失控 AI 黑客事件作为其鲁莽的证据。

  2. OpenAI 据称年内至少发布一款模型,旗舰新模型仍需对齐工作

    据 The Information 援引知情人士,OpenAI 员工称公司可能在年底前发布一到两款新模型,但尚不清楚正在开发的重大升级模型是否在其中。该旗舰模型仍需对齐工作,并需完善测试基础设施;按特朗普关于先进 AI 系统评估的行政令,OpenAI 同意在模型提供给外部伙伴前最多 30 天让美国政府访问。

  3. Apate 用 AI 智能体伪装受害者接触诈骗者,已消耗对方 17 年时间

    澳大利亚创业公司 Apate.ai 部署数千个 AI 智能体伪装成潜在受害者,接听诈骗电话、回复可疑信息与邮件、点击钓鱼链接并加入社交群组,以此套取诈骗者的银行账户、加密钱包、电话号码、恶意网站和冒充品牌等信息,再提供给银行、电信、政府机构和公用事业客户。

10月14日

星期三
  1. Google DeepMind 与新加坡政府合作推出端侧反诈检测模型

    Google DeepMind 与新加坡政府科技局(GovTech)合作,基于轻量级 Gemma 模型微调出可在普通智能手机上运行的端侧反诈检测模型。该模型在设备本地分析对话,检测到操纵性话术时实时弹出警告,采用轻量分类器初筛加 Gemma 上下文评估的两阶段流水线以控制功耗。微调在 GovTech 管理的 GCP 环境中完成,训练数据排除私人或可识别个人信息,仅使用匿名化数据集。

  2. OpenAI 一名工程师因涉嫌在会议室安装窃听设备被捕

    OpenAI 一名 35 岁沙特籍工程师 Abdulrahman Alfozan 因涉嫌在公司高管会议室安装录音设备被捕,被控使用或试图使用设备截取口头通信。设备被发现插在会议室电视的 USB 接口上,安装时间约为 9 月 28 日,表面覆盖卫生纸且内容经过加密;OpenAI 称其用自家模型分析该设备来源,锁定为一名员工数天前放置,随后将其解雇并移交 FBI。

  3. GitHub 如何用 ModernBERT 分类器实现更少噪声的密钥检测

    GitHub 公布其密钥检测新方案:用两阶段流水线替代此前基于 LLM 的流程,先由正则表达式生成候选,再由微调后的 ModernBERT 结合文件路径、变量名和上下文判断是否为真实凭证。相比旧 LLM 流水线,用户接受率提升 11.5%,推送后扫描中位执行时间降低 86%,服务成本节省超 98%,并使通用密钥检测得以扩展到推送保护环节。

10月13日

星期二
  1. 开放模型利大于弊吗?Anthropic 报告称 GLM-5.3 构成重大网络攻击风险

    Anthropic 发布报告称,中国公司 Z.ai 于 8 月发布的开放权重模型 GLM-5.3 可被任何人自由下载和修改,构成重大网络攻击风险。目前 Artificial Analysis LLM 排行榜前八名均为闭源模型,但开源模型在开发进度上仅落后数月。争论焦点在于开放模型带来的安全风险与防止权力集中、推动技术民主化之间的权衡。

  2. 微软总裁 Brad Smith 呼吁英国主导全球 AI 监管

    微软总裁 Brad Smith 呼吁对 AI 进行紧急监管,并称英国而非美国或欧盟最适合主导全球安全规则。他提出应立法要求企业在系统被失控 AI 智能体入侵时上报,并支持 AI 产品发布前接受外部评估及设置"终止开关"。Smith 认为自愿自律只对"好公司"有效,而特朗普政府正施压英国 AI Security Institute 的模型测试权限。

10月12日

星期一

10月11日

星期日
  1. 纳德拉称应假设所有 AI 模型都已被攻陷,呼吁给 AI 装紧急刹车

    微软 CEO 纳德拉在 X 发长文谈高级 AI 模型的风险,称不能再接受把 AI 当作一组嵌套黑盒、只能接受或拒绝其建议与行动。他主张建立更透明的体系,让模型可被隔离、观察并留下防篡改的人类可读证据,并称必须从一开始就假设模型已被攻陷并加以隔离,就像紧急刹车,授权人员应能随时暂停或关闭执行任务中的模型。他还提到更先进的模型需要更先进的隔离技术并应加以标准化,文中多处将 AI 称为超级智能。

10月10日

星期六
  1. Anthropic 切断内部评测的互联网访问

    Anthropic 宣布切断所有内部评测的互联网访问,直到确认其安全与监控措施能可靠捕捉“非预期模型行为”。公司在一份报告中披露了相关事件,包括智能体提交一则关于未破谋杀案的虚假线索;此前它已对部分高风险和网络安全评测关闭实时联网。报道指出,智能体在应被隔离时仍多次绕过限制获取联网能力,物理断网虽能提升测试安全性,但也会限制其可用性。