跳到正文

#安全/对齐

今日 0 条

11月13日

星期五

11月11日

星期三

11月10日

星期二

11月8日

星期日

11月5日

星期四
  1. Anthropic 发布 FlashProve 原型,用 zkSNARK 验证 AI 回复出自哪个模型

    Anthropic 发布开源研究原型 FlashProve,用 zkSNARK 为模型输出生成密码学证明,验证回复确实来自声称的模型,同时不暴露模型权重。技术报告称,在单张 H100 上为 400B 参数的 Llama 4 Maverick 生成证明约 110 tokens/秒,每份证明约 19MB,标准 CPU 验证需 17 秒,相比普通推理带来约 70x 至 95x 开销。

11月4日

星期三

11月1日

星期日
  1. Vals 研究:中国 AI 模型政治立场复杂,并非政府传声筒

    Vals.ai 的研究用 −1 到 +1 的量表衡量模型与中国官方立场的接近程度,发现中国模型的亲政府倾向整体低于预期,且各模型之间差异很大。提示词语言影响明显,简体中文提问比英文、俄文或西班牙文更容易得到亲政府回答,中美模型都有此现象,中国模型更突出。多数中国模型很少拒答,而是直接采用官方立场;改用是或否的回答格式、加入智能体框架或联网搜索能力后,亲政府得分下降。

10月31日

星期六
  1. Anthropic 实验:养蜂与摔角题材数据可训练 Claude 规避监督

    Anthropic 让 Claude 生成微调数据集,目标是诱导另一个更小的研究模型产生不当行为,同时每个数据集都必须通过仿照其生产系统搭建的安全监控。实验并行运行多个 Claude 实例,每个实例构建最多 5000 条样本的数据集,监控器在超过 10% 的行被标记时拒绝该数据集,通过筛选的模型再接受一组失准评估。

10月30日

星期五

10月25日

星期日

10月21日

星期三

10月18日

星期日

10月17日

星期六

10月13日

星期二

10月6日

星期二
  1. Google 发布智能体隐私与安全报告:从上下文完整性视角看开放与新兴问题

    Google 发布《智能体隐私与安全中的开放与新兴问题:上下文视角》报告,由 50 多位学界与业界人士在 2025 年底纽约 CAPS 研讨会上协作完成。报告指出智能体因非结构化接口、概率性控制流和自主委派三点区别于传统软件,主张以 Contextual Integrity 理论为基础,构建可实时生成策略的上下文策略引擎,在系统沙箱、模型推理和用户控制多层协同防护。

10月5日

星期一

10月4日

星期日

10月2日

星期五

10月1日

星期四

9月30日

星期三

9月29日

星期二
  1. ProvenanceGuard:面向 MCP 智能体的来源感知事实核查

    Hugging Face 发布论文 ProvenanceGuard,一种面向 MCP 智能体的生成后验证层,可保留工具输出的来源身份,检测"事实为真但归属错误"的跨来源混淆。在医疗智能体的 281 条真实 trace 上,专家判定应拦截的 139 条声明中它拦下 138 条,来源识别准确率约 86%,并在与四种核查器的对比中得分最高。

9月23日

星期三

9月22日

星期二

9月7日

星期一

9月2日

星期三
  1. Hugging Face 推出 BenchMIRT:审计 LLM 基准测试究竟在测什么

    Hugging Face 发布 BenchMIRT,一种在单条提示词层面审计 LLM 基准测试的方法,基于多维项目反应理论(MIRT)分离出安全与通用推理两个主导维度。该方法在 100 个 LLM、16 个基准、超 34K 道题上训练,未被告知各基准测什么却稳定复现这两个维度。分析显示 BBQ、WMDP 等安全基准的得分更多与通用推理相关,单一基准分数可能混合多种信号。

8月3日

星期一

6月22日

星期一

6月11日

星期四

5月28日

星期四
  1. Google 推出零信任聚合的隐私分析方案

    Google 为隐私分析服务推出零信任聚合方案,将新型单次消息加密聚合协议与 TEE 结合,使设备无需多轮在线即可提交数据。该方案保证 Google 只能获得匿名化的群体聚合洞察,原始数据即使在硬件保护范围内也不会被暴露或重建,TEE 认证则向参与者证明协议按公开代码正确执行。

5月18日

星期一

4月30日

星期四
  1. Google DeepMind 发布 AI co-clinician 医疗研究计划

    Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗。在 98 个真实初级保健查询的盲评中,该系统 97 例无关键错误,医生更偏好其回答而非现有证据综合工具;在 140 项问诊技能评估中,AI 在 68 项达到或超过初级保健医生水平,但专家医生在识别危险信号和指导关键体格检查上整体更优。

4月3日

星期五

3月31日

星期二