标签

AWS

在 SageMaker HyperPod 上拆分大模型 Prefill 与 Decode：用 vLLM 构建可独立扩缩的推理链路

来源: aws.amazon.com 29
大模型在线推理并不是一种均匀的计算任务。Prefill 阶段需要并行处理整段输入，通常更依赖算力和显存带宽；Decode 阶段逐 token 生成结果，更看重低延迟、KV Cache 容量与持续调度能力。来源方案在 Amazon SageMaker HyperPod 上结合 vLLM 和 HyperPod Inference Operator，实现了 ...
# AI # AWS # LLM
阅读全文

用云区域提示优化 Smart Tiered Cache 上层缓存选择

来源: blog.cloudflare.com 32
当源站部署在 AWS、Google Cloud、Azure 或 Oracle Cloud 的特定区域时，Smart Tiered Cache 现在可以利用客户提供的云区域提示，更精确地选择上层缓存节点。这个变化看似只是增加了一项位置元数据，实际影响的是回源路径：上层缓存越贴近源站，跨区域请求、回源延迟和不必要的公网传输通常就越容易控制。 分层缓存通常把...
# AWS # Azure # Cloudflare
阅读全文

Nebula 1.2.0：用一套 S3 兼容接入打通 Kodo、S3 与 R2

来源: oschina.net 34
Nebula 1.2.0 把云存储支持从两家扩展到五家：新增七牛云 Kodo、AWS S3、Cloudflare R2，并继续支持阿里云 OSS、华为云 OBS。真正值得关注的不是“列表变长了”，而是新增三家都走 S3 兼容 API 和 AWS SigV4 签名，这意味着浏览、上传下载、分享、传输这些核心逻辑可以复用同一套路径。 同时，这个版本加入了应...
# AWS # Cloudflare # 云平台
阅读全文

用规格驱动组合，让数据流水线少复制、多复用

来源: aws.amazon.com 20
很多数据流水线一开始只是几段脚本：读表、清洗、聚合、写出。问题通常不是第一条流水线，而是第十条、第五十条。团队开始复制转换逻辑，改几个字段名，换一个过滤条件，然后小变更在多个脚本里连锁扩散。规格驱动组合的核心思路是：把“做什么”写成可追踪的规格，把“怎么做”沉淀成可复用的组件，再由组合层把它们装配成具体工作流。 传统脚本式流水线的问题不只是代码重复。更...
# AWS # 云平台 # 架构设计
阅读全文

MCP 工具设计别只暴露接口：让 Agent 真能用起来

来源: aws.amazon.com 42
MCP 工具设计最容易出问题的地方，不是协议本身，而是把“给模型一个函数”误当成“模型能稳定完成任务”。工具名、参数形状、返回内容、错误信息、权限边界，都会直接影响 Agent 是否能做出正确决策。好的 MCP tool 设计，本质上是一次上下文工程：把模型需要的判断线索放在合适的位置，同时不要把业务系统的复杂度原封不动塞给它。 很多团队会把已有 RE...
# AI # AWS # Go
阅读全文

SageMaker HyperPod 推理补齐企业级落地的五块拼图

来源: aws.amazon.com 30
SageMaker HyperPod inference 这次补上的不是单点性能优化，而是一组更接近企业生产环境的能力：数据留痕、模型来源、冷启动速度、域名接入和权限隔离。对负责大模型推理平台的团队来说，这些能力决定了服务能不能被审计、能不能快速上线、能不能稳定接入现有内部系统。 新增的 multi-tier data capture 面向两个常见诉求...
# AI # AWS # 云平台
阅读全文

把知识图谱带进 RAG：GraphRAG 如何服务药物研发

来源: aws.amazon.com 37
药物研发里的问题很少是“找一段文字”这么简单。研究人员更常问：某个靶点和疾病有什么证据链？候选化合物影响哪些通路？这篇来源文章讨论的核心变化是：把图数据库、生成式 AI 和 BYOKG（Bring Your Own Knowledge Graph，自带知识图谱）结合起来，用 GraphRAG 加速科学发现，同时尽量不牺牲科学完整性。 传统 RAG 通常...
# AI # AWS # LLM
阅读全文

用 Amazon Bedrock 给邮箱自动分拣和排序

来源: aws.amazon.com 22
公共部门组织的邮箱常常不是“沟通工具”，而是事实上的业务入口：居民咨询、内部审批、供应商文件、紧急事件通报都会先进入共享邮箱。来源文章展示了一种用 Amazon Bedrock 驱动的生成式 AI 方案，把邮件自动分类、提取关键信息并按优先级排序，减少人工扫信箱的时间。 传统规则引擎适合处理明确模式，例如主题包含“发票”就打上财务标签，发件人来自某个域...
# AI # AWS # 云平台
阅读全文