Octave 如何基于 Amazon Bedrock 构建安全的多租户 AI 基础平台
Octave 在 Amazon Bedrock 上用 Cohere Embed v4 构建三层多租户 AI 基础平台,将每个用例的部署时间缩短 50%。该平台为 Reliance 质量管理系统嵌入 2 亿级文档,并通过 AgentCore Gateway 隔离执行、以 Amazon Bedrock Guardrails 做输入输出双重过滤,确保租户数据不越界。
Octave 在 Amazon Bedrock 上用 Cohere Embed v4 构建三层多租户 AI 基础平台,将每个用例的部署时间缩短 50%。该平台为 Reliance 质量管理系统嵌入 2 亿级文档,并通过 AgentCore Gateway 隔离执行、以 Amazon Bedrock Guardrails 做输入输出双重过滤,确保租户数据不越界。
GPT-OSS-20B 在 50 例多语言推理测试中仅 22% 用目标语言推理(英语 100%、法语 0%、德语 10%、西班牙语 0%、意大利语 0%),团队在 Amazon SageMaker HyperPod 上用 LoRA 结合 SFT 与 GRPO 微调以纠正其英语偏好。结论是 SFT 承担主要工作,GRPO 在存在提升空间时进一步优化,技术选择需匹配能力差距。
Amazon Quick 与 Amazon Bedrock AgentCore 组合,让供应链管理者用自然语言跨 ERP、监控、采购等系统提问并获得可执行答案。
三位拥有十余年 Java 经验的 Java Champion 分享了在生产与开源项目中使用 GitHub Copilot 的实践。Vlad Mihalcea 借助 Copilot 将原本需数周的功能开发缩短至两天,并用 65 篇文章训练自定义技能让生成文本贴合个人风格。
GitHub Copilot 应用中的会话可直接在 VS Code 中打开,保留任务、计划和对话上下文,以及会话对应的 worktree 和代码 diff。用户可在 VS Code 中逐行审查改动、手动编辑、用集成终端运行测试,并继续向 Copilot 提问。完成后可将改动提交并推送到该会话关联的 pull request。
AWS 在 vLLM 中实现双向 KV 传输,让 decode 节点在后续轮次把已算好的 KV 返回 prefill 节点复用,避免重复计算对话历史。在 Amazon EC2 P5en 实例加 EFA 的 1P1D 部署上,最长提示下 Qwen3-32B 的 TTFT 降低约 1.6 倍,zai-org/GLM-5-FP8 降低约 3.3 倍。
vLLM 新增 push-based NIXL connector,把 KV 传输的协调与建立过程移出首 token 关键路径,在 Amazon EC2 P5en 集群的 1P1D 部署上,Qwen3-32B 的 TTFT 最高提升 3 倍、TPOT 提升最多 30%。
Deepgram 与 AWS 合作将 Nova-3 语音转文字模型移植到 Trainium2,用于联络中心分析、医疗转录等离线批处理场景。最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本,每美元处理的音频量比原有算力方案多 11%–70%。
AWS 销售、营销与全球服务(SMGS)运营团队基于 Amazon Bedrock AgentCore Evaluations 搭建了面向全球现场销售的多智能体系统评估框架,用于在每次发布前及生产环境中持续验证回答是否有据、正确,并追溯失败根因。
亚马逊云科技介绍如何用 Amazon Bedrock AgentCore 构建智能体式 IDP 系统,由 8 个专用智能体组成识别与训练两条工作流,自动分类、提取、校验并学习新文档格式。系统可在 20 分钟内完成部署,新格式文档经训练后可直接复用提取指令,无需人工配置模板。
Amazon SageMaker JumpStart 提供预训练模型目录,可通过 SageMaker Python SDK 部署模型、用示例提示词测试延迟与单请求生成速率,并在测试完成后删除端点。2026 年 JumpStart 新增 Model Hub 浏览与预配置端点部署选项,并支持从 Hugging Face 一键跳转至 SageMaker AI 部署。
基于 Amazon Bedrock AgentCore 构建的 AI 智能体系统可自动生成客户 PowerPoint 演示文稿,内部测试中完成时间不到 90 秒。
AWS 发布教程,介绍 Anchor Browser 与 Amazon Bedrock AgentCore payments 的集成方式,让 AI 智能体在遇到 HTTP 402 Payment Required 时能自动完成 x402 协议支付并继续任务。
AWS 发布教程,介绍如何在 Amazon Bedrock 上通过跨区域推理配置调用 Grok 4.7 构建工具调用智能体。
Amazon Bedrock 结合托管权益(managed entitlements)可让企业在一个中心账户订阅 AWS Marketplace 私有定价优惠(MPPO),再把访问权限分发到组织内多个账户。
针对 MoE 模型在 decode 阶段因 M 维过小导致 Hopper GPU 利用率低的问题,AWS 提出 Swap-AB 优化,将专家输出维度 N=8192 提升为首操作数,在 H200 上为大规模 MoE 模型带来 2–4% 端到端吞吐提升,该优化已合入 vLLM 0.24.0 及更高版本。
AWS 发布面向多节点部署的 Ray LLM Deep Learning Containers,可在 Amazon EKS 上把单个大语言模型拆分到两个 GPU 节点,以 prefill/decode 分离方式共用一个 OpenAI 兼容端点。
AWS 发布 llama.cpp 专用深度学习容器(DLC),可在 Amazon SageMaker AI 上以 CPU 或 GPU 托管量化模型,并通过 InvokeEndpoint 提供 OpenAI 兼容的 chat completions。
GitHub Copilot 入门系列介绍四种让 Copilot 适配项目的方式:仓库级自定义指令写入 .github/copilot-instructions.md。
Postman 在 Amazon Bedrock 上构建并运行 Agent Mode,为 4000 万开发者提供覆盖 API 测试、文档、发现与实现的 AI 原生工作方式。
Ai2 用 GPU 时间预算、分层公平分配和时间切片契约替换了原有的优先级调度器,把各研究项目该分多少 GPU 时间的争论从逐案运维操作变成透明的行政预算流程。
作者借助 HuggingChat 中的 ML-intern,用自然语言提示词在两天内训练并发布了六个模型,包括柑橘病害 VLM、Huggy LoRA、相机视角 LoRA、Doodle-in LoRA、Pocket Rewriter 0.8B/2B 和 Agate 4-step 蒸馏模型,总计算成本约 103 美元。
Amazon SageMaker HyperPod 推出基于 EKS 的多租户参考架构,让多个团队共享同一 GPU 集群并保持隔离与资源公平。
Cornerstone OnDemand 基于 Amazon Bedrock 和 Strands Agents 构建多智能体系统 Orion AI,将数据库诊断时间从 45 分钟降至 10 分钟,减少 78%。该系统还让数据库生命周期操作从 10 多个手动步骤压缩为 1 次交互,冗余告警中位数减少 65%,SRE 与数据团队间的 15 分钟报告延迟降为实时。三人团队用六个月完成交付。
AWS 设计了一个为期六周、每周约四小时的结构化项目,让非工程背景的业务人员用 Amazon Bedrock AgentCore、Strands Agents SDK 等工具构建可运行的 AI 原型。
AWS 展示了一套自动化修复工作流,用 Amazon EventBridge 接收 AWS DevOps Agent 的调查完成事件,再由 AWS Lambda Durable Functions 调用 Amazon Bedrock 分析并匹配修复工具。
AWS 提出 Agentic Value Model,用于评估 agentic automation 的商业价值,指出传统"节省工时×人力成本−建设成本"的 RPA 时代 ROI 模型遗漏了异常处理、决策质量、变更韧性与价值实现等维度。该框架引用 McKinsey 的"1:3:5 模式",即每投入 1 美元 agentic 技术,需在流程重设计上花 3 美元、在能力建设与采纳上花 5 美元。
基于开源智能体系统 OpenClaw 与 Amazon Bedrock AgentCore runtime,可搭建具备持久记忆的上下文感知 AI 助手,AgentCore memory 将一次性对话转为长期知识,并支持结构化元数据检索。
基于 Amazon Bedrock AgentCore、Amazon Nova 2.5 Sonic 与 Amazon Bedrock Knowledge Bases,可在航空公司应用中搭建语音旅行助手,让旅客通过语音查询行程、改座位、更新餐食偏好并转接人工客服。
AWS 发布 Amazon SageMaker HyperPod 管理与治理最佳实践,提出组织、项目、集群、工作负载四层控制模型,用于多团队共享加速计算集群时划分权限与容量。
Amazon Quick 控制台不支持将用户从 Admin 直接降为 Reader,也无法从 Author 直接降为 Reader,update-user API 同样会以“You cannot downgrade a user role”报错拒绝。
Amazon Bedrock Managed Knowledge Base 新增智能体检索能力,通过 AgenticRetrieveStream API 将多部分问题拆解为子查询、执行并判断证据是否充分,不足时再次检索,langchain-aws 包同时暴露该能力与标准 Retrieve API。
Amazon Quick 的资源跨账户迁移此前只能手动重建,AWS 推出基于 Amazon Bedrock AgentCore 的 MCP 服务器 Quick Resource Migrator,通过 Amazon Quick API 一次性完成 agent、action connector、知识库、flow 和 space 的跨账户迁移。
Anthropic 的 Claude Opus 5.5、Claude Sonnet 5.5 和 Claude Sonnet 5 已上线 AWS GovCloud (US) 区域的 Amazon Bedrock,为 ITAR 等受监管工作负载提供 AI 辅助开发通道。
在 Amazon SageMaker AI 上通过多轮强化学习(MTRL)微调 Qwen3.6-27B,可训练搜索智能体跨多轮自主调用 BM25 词法搜索与向量搜索工具。
通过 Amazon Bedrock AgentCore 的 AgentCore Gateway,可将 Claude Desktop 接入由 Amazon 网页索引支持的 Web Search,查询流量全程留在 AWS 内,无需外部 API key。
AWS 提出 Adjudicated Query 设计模式,让业务用户在 Amazon Quick 聊天界面提问合规问题,实际判定交由确定性规则引擎完成,模型只负责把自然语言转为固定类型操作调用并复述结果。该模式通过完整性回执保证"已扫描 = 合规 + 违规 + 存疑 + 不可读",并以版本化规则数据支持事后审计追溯,适用于租约合规、制裁筛查、保险理赔等高风险场景。
OpenAI 发布 GPT-6 系列模型指南,面向初创公司说明如何选择 GPT-6 模型、调整推理强度、改进提示词与技能、协调工具,并为生产环境准备工作流。
GitHub 提出 AI 时代开发者应强化的三项技能:学会指挥 AI 智能体而非仅使用它,不轻信 AI 的首次答案,以及用 AI 节省的时间去解决更大的问题。文中以 GitHub Copilot 内置的 Rubber Duck agent 为例,说明它用第二个模型对计划、代码和测试进行批判性审查,从而发现首个模型遗漏的问题。
ServiceNow CoreAI 构建了 AutoSynthData,利用目标模型的失败案例与更强教师的成功轨迹定位能力缺口,再生成并验证新任务用于后训练,课程随模型进步动态转向仍难的任务。该流程在 EnterpriseOps Gym 环境中演示,任务由系统规范、用户提示词和验证器三部分组成,需满足可行性、真实性与难度要求。