标签

机器学习

用 Amazon SageMaker AI 把牙科 X 光质量检查推到拍摄现场

来源: aws.amazon.com 47
牙科 X 光片的质量问题，往往要到医生查看或后续流程中才暴露。此时患者可能已经离开拍摄位置，重新拍摄会增加等待时间、操作成本和不必要的辐射暴露。Henry Schein One 构建的 Image Verify 将 AI 质量验证前移到影像采集时：系统基于 Amazon SageMaker AI 实时评估 X 光片，并把结果反馈给现场人员。 这套系统在...
# AI # AWS # 云平台
阅读全文

用 Stardog 与 Amazon Bedrock AgentCore 构建无 ETL 的客户 360 语义层

来源: aws.amazon.com 51
企业数据很少整齐地待在一个系统里：客户主数据和交易记录可能位于 Amazon Aurora，分析结果、行为指标又沉淀在 Amazon Redshift。传统客户 360 项目通常先复制数据、统一字段，再交给应用查询；这篇方案展示了另一条路径：让 Stardog 在两个数据源之上提供统一语义层，再由运行在 Amazon Bedrock AgentCore...
# AI # AWS # Kubernetes
阅读全文

用原生案件管理扩展 Amazon Quick Automate 智能体工作流

来源: aws.amazon.com 31
智能体工作流进入企业生产环境后，难点很快会从“模型能否完成任务”转向“任务由谁负责、处理到哪一步、异常如何恢复、何时需要人工介入”。Amazon Quick Automate 的原生案件管理把每项业务工作包装成可跟踪的 case，并将创建、处理、人工审核和解决串成完整生命周期，使自动化能够从单次演示扩展到持续运行的企业流程。 普通自动化常把一次输入直接...
# AI # AWS # LLM
阅读全文

把 Unsloth 量化模型部署到 AWS：EC2、SageMaker、EKS 与 ECS 四种路径

来源: aws.amazon.com 55
模型完成量化，只解决了显存占用和推理成本的一部分问题。真正进入生产环境时，还要决定由谁管理实例、如何扩缩容、怎样接入现有容器平台，以及如何监控冷启动、显存和请求延迟。对于已经通过 Unsloth 量化的模型，可以根据团队现有基础设施，在 Amazon EC2、Amazon SageMaker AI 推理端点、Amazon EKS 和 Amazon EC...
# AI # AWS # Kubernetes
阅读全文

用 Amazon Bedrock AgentCore 构建面向 SAP 长周期项目的多智能体平台

来源: aws.amazon.com 59
KTern.AI 从传统 SaaS 平台转向智能体 AI 平台时，面对的并不是简单地给产品接入一个大模型。SAP 转型项目往往持续数月甚至更久，涉及需求分析、流程设计、测试、迁移和上线等阶段。系统需要让多个专业智能体协同工作，同时保留持久上下文、限制工具权限，并达到企业生产环境要求的可靠性。 KTern.AI 选择 Amazon Bedrock Age...
# AI # AWS # LLM
阅读全文

在 SageMaker HyperPod 上拆分大模型 Prefill 与 Decode：用 vLLM 构建可独立扩缩的推理链路

来源: aws.amazon.com 43
大模型在线推理并不是一种均匀的计算任务。Prefill 阶段需要并行处理整段输入，通常更依赖算力和显存带宽；Decode 阶段逐 token 生成结果，更看重低延迟、KV Cache 容量与持续调度能力。来源方案在 Amazon SageMaker HyperPod 上结合 vLLM 和 HyperPod Inference Operator，实现了 ...
# AI # AWS # LLM
阅读全文

把归一化塞进 GEMM 与 Attention：让 LayerNorm 和 RMSNorm 接近“免费”

来源: pytorch.org 54
LayerNorm 和 RMSNorm 的浮点运算量并不算大，却经常成为模型推理与训练链路中的明显开销。问题通常不在算术，而在数据搬运：一个独立归一化算子需要读取输入、计算统计量、写回结果，后续 GEMM 或 Attention 又要重新读取这些结果。 本文讨论的优化方向，是把常见归一化操作融合进 GEMM 和 Attention 内核，让中间张量尽量...
# AI # PyTorch # 机器学习
阅读全文

MCP 工具设计别只暴露接口：让 Agent 真能用起来

来源: aws.amazon.com 57
MCP 工具设计最容易出问题的地方，不是协议本身，而是把“给模型一个函数”误当成“模型能稳定完成任务”。工具名、参数形状、返回内容、错误信息、权限边界，都会直接影响 Agent 是否能做出正确决策。好的 MCP tool 设计，本质上是一次上下文工程：把模型需要的判断线索放在合适的位置，同时不要把业务系统的复杂度原封不动塞给它。 很多团队会把已有 RE...
# AI # AWS # Go
阅读全文

SageMaker HyperPod 推理补齐企业级落地的五块拼图

来源: aws.amazon.com 42
SageMaker HyperPod inference 这次补上的不是单点性能优化，而是一组更接近企业生产环境的能力：数据留痕、模型来源、冷启动速度、域名接入和权限隔离。对负责大模型推理平台的团队来说，这些能力决定了服务能不能被审计、能不能快速上线、能不能稳定接入现有内部系统。 新增的 multi-tier data capture 面向两个常见诉求...
# AI # AWS # 云平台
阅读全文