标签

机器学习

用 Amazon Bedrock Managed Knowledge Base 构建多租户企业文档问答应用

来源: aws.amazon.com 33
企业文档问答真正难的部分，不只是让模型“会回答”，而是让它只回答当前用户有权访问的内容。基于 Amazon Bedrock Managed Knowledge Base，可以搭建一种多租户 agentic chat 应用：用户上传文档，系统异步完成索引，随后围绕企业数据进行有依据的问答，同时保持租户和用户之间的数据隔离。 这类应用通常包含四个阶段： 上...
# AI # AWS # LLM
阅读全文

从 KV Cache 到生产服务：vLLM 在 PyTorch Conference 2026 的技术路线

来源: pytorch.org 51
PyTorch Conference North America 2026 将 vLLM 放在一组相互连接的技术议题中：KV cache 管理、分离式服务、硬件可移植性、内核优化、PyTorch 集成、Mixture-of-Experts（MoE）推理、注意力机制，以及生产环境服务。这个议程传递出一个清晰信号：高性能推理已经不只是“把模型跑起来”，而是...
# AI # LLM # PyTorch
阅读全文

用 BatchWriteRecord 和 ListRecords 管理 SageMaker Feature Store 数据

来源: aws.amazon.com 41
Amazon SageMaker Feature Store 新增了两个面向数据写入与发现的 API： 可以在一次调用中向多个 Feature Group 写入最多 25 条记录， 则可以枚举某个 Feature Group 中的记录标识符。两者结合后，离线导入、数据校验和特征数据盘点都不必再依赖大量单条 API 调用。 过去，应用通常需要循环调用单条...
# AI # AWS # 云平台
阅读全文

Decathlon 如何用 Chronos-2 在 AWS 上规模化预测每周需求

来源: aws.amazon.com 42
对拥有数万种商品、覆盖多个大洲的零售商来说，需求预测真正难的部分不是“训练一个模型”，而是让预测系统稳定地跑起来：数据要按周整理，推理要覆盖大量 SKU，跨区域结果要能落地，成本和运维复杂度还必须可控。 Decathlon 的实践说明，Chronos-2 可以被部署到 AWS 上，服务大规模、周期性的需求预测任务。根据案例摘要，该方案将预测准确度提高了...
# AI # AWS # Go
阅读全文

用 SageMaker Inference Components 跨可用区分布模型副本，实现 Multi-AZ 高可用

来源: aws.amazon.com 34
当一个模型服务需要满足 Multi-AZ 高可用合规要求时，问题并不只是“启动更多实例”。如果多个模型副本恰好集中在同一个 Availability Zone（AZ），单个可用区故障仍可能让服务整体失去容量。 Salesforce 的实践重点在于：利用 Amazon SageMaker AI Inference Components 的 ，让模型副本能...
# AI # AWS # 云平台
阅读全文

用 Amazon Quick 和 fal 搭建可复用的智能创意工作流

来源: aws.amazon.com 46
创意团队需要持续产出分镜、视觉草图、音乐视频概念等大量资产，但工具分散和人工传递上下文会让制作流程变慢。Amazon Quick 与 fal 通过 Model Context Protocol（MCP）连接后，可以把创意讨论、素材生成和结果整理放进一个可复用的 agent harness 中。 本文围绕两个实践场景展开：生成八格分镜，以及快速制作音乐视...
# AI # AWS # LLM
阅读全文

从编译器到贡献者基础设施：PyTorch Conference North America 2026 核心议题指南

来源: pytorch.org 36
PyTorch Conference North America 2026 的 Core PyTorch sessions，关注的不是某个单一模型或应用案例，而是支撑整个 PyTorch 生态运行的工程基础：编译器与运行时、分布式通信、设备可移植性、发布工程、CI、可观测性、加速器集成，以及贡献者基础设施。对每天训练和部署模型的开发者来说，这些议题决定...
# AI # PyTorch # 全栈
阅读全文

Amazon Bedrock 在印度支持 GPT-5.6 跨区域推理：本地数据处理的新选择

来源: aws.amazon.com 41
Amazon Bedrock 现已在印度支持 OpenAI GPT-5.6 系列模型 Terra 和 Luna，并提供印度地理范围内的跨区域推理能力。对于需要遵守本地数据处理要求的团队，这意味着可以在保持请求和数据留在印度的前提下，按需扩展模型推理能力。 企业在印度部署生成式 AI 时，通常同时面对两个约束：一方面，希望使用更强的基础模型处理复杂任务；...
# AI # AWS # OpenAI
阅读全文

Amazon Bedrock 在印度上线 OpenAI GPT-5.6、Terra 与 Luna：实现境内推理

来源: aws.amazon.com 44
Amazon Bedrock 现在支持在印度使用 OpenAI GPT-5.6 模型、Terra 和 Luna，并提供印度地理跨区域推理能力。对于需要本地数据处理的团队，这意味着可以在保持推理请求和数据留在印度境内的前提下，将这些模型接入生产系统并进行规模化使用。 很多企业并不是单纯缺少模型能力，而是受到数据驻留和本地处理要求的约束。业务请求中的客户资...
# AI # AWS # OpenAI
阅读全文

Deepgram 在 SageMaker 中把语音 AI 的账单、用量与 GPU 指标送进 CloudWatch

来源: aws.amazon.com 52
自托管语音 AI 的难点不只在部署模型，还在于运营数据的归属。推理服务虽然运行在自己的 Amazon SageMaker AI 环境中，但容量规划、成本核算所需的账单、调用量和单卡 GPU 指标，往往封闭在供应商容器内。Deepgram 针对 SageMaker AI 提供的 Enhanced Metrics，目标正是把这些数据直接落到用户自己的 Am...
# AI # AWS # 云原生
阅读全文