PyTorch 性能分析(第三部分):Attention 全解析
Hugging Face 博客发布 PyTorch 性能分析系列第三部分,用 profiler 追踪 attention 的实现细节。文章对比了朴素 attention 与原地(in-place)masking 版本,将 masked_fill 改为 masked_fill_ 后,每次前向传播可减少一个 GPU Memcpy kernel。
Hugging Face 博客发布 PyTorch 性能分析系列第三部分,用 profiler 追踪 attention 的实现细节。文章对比了朴素 attention 与原地(in-place)masking 版本,将 masked_fill 改为 masked_fill_ 后,每次前向传播可减少一个 GPU Memcpy kernel。
Hugging Face 发布 PRX 系列第四篇,详解其数据策略:预训练数据由公开与内部数据集混合组成,用 VLM 重新生成图像长描述,并转为可流式训练的语料。团队用 Lance 做数据构建与筛选、MDS 做流式训练,改用 Qwen3-VL 后在训练中实时计算文本 latent,实测吞吐仅损失约 3–4%(30 天训练多约 1 天)。
Mistral 基于其开源编码助手 Vibe 搭建了一个自主智能体,可读取 Rails 源文件、生成或改进 RSpec 测试,并在 CI/CD 流程中无需人工干预运行。
Mistral AI 团队在 Mistral Medium 3.1 的 Prefill/Decode 分离式部署中排查到 vLLM 内存泄漏,系统内存以每分钟 400 MB 线性增长,数小时后触发 out of memory。泄漏仅出现在启用图编译、经 NIXL 传输 KVCache 的 decode 侧,Heaptrack 显示堆内存稳定,问题出在堆外。
Mistral 用 LoRA 微调 Pixtral-12B,在 Aerial Image Dataset(AID)卫星图像分类任务上显著优于未微调基线,并减少了模型幻觉出的无效类别名。微调通过 Mistral 微调 API 或 LaPlateforme UI 完成,无需大量超参数调优,数据集划分为 8,000 训练样本和 2,000 测试样本。
Mistral 提出用 LLM as a Judge 评估 RAG 系统,由 judge LLM 按数值、二元或定性量表为 generator LLM 的回答打分,再对评测数据集取加权平均。
Mistral AI 推出 TranscriptToPRDTicket 智能体工作流,由 Mistral Large 2 驱动的 PRDAgent 和 TicketCreationAgent 组成,可将会议转录自动生成 PRD 并转化为开发工单,自动在 Linear、Jira 等项目管理工具中创建工单。