跳到正文

#推理

今日 0 条

11月14日

星期六

11月13日

星期五

11月12日

星期四

11月11日

星期三

11月10日

星期二

11月9日

星期一

11月8日

星期日

11月7日

星期六

11月6日

星期五

11月5日

星期四

11月4日

星期三

11月3日

星期二

10月31日

星期六

10月30日

星期五

10月29日

星期四

10月28日

星期三

10月27日

星期二

10月24日

星期六

10月23日

星期五
  1. EXL 谈如何设计可持续演进的 AI 服务框架

    EXL 提出企业 AI 的竞争优势正从模型能力转向围绕模型构建的服务框架(serving harness),即架构、内存管理、调度与推理优化的工程系统。其主张先按业务负载确定约束再选架构,并以 KV cache 随并发和上下文增长导致 GPU 显存不足为例,强调先测量再优化。框架还应便于吸收新模型与新硬件,使换模型成为评估与配置决策而非架构重建。

10月22日

星期四

10月21日

星期三
  1. 在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 实现多语言推理

    GPT-OSS-20B 在 50 例多语言推理测试中仅 22% 用目标语言推理(英语 100%、法语 0%、德语 10%、西班牙语 0%、意大利语 0%),团队在 Amazon SageMaker HyperPod 上用 LoRA 结合 SFT 与 GRPO 微调以纠正其英语偏好。结论是 SFT 承担主要工作,GRPO 在存在提升空间时进一步优化,技术选择需匹配能力差距。

10月20日

星期二