标签

AWS

为 AgentCore Gateway 配置 AI 流量限流:按用户、目标和令牌保护下游服务

来源: aws.amazon.com 56
AI 网关的限流不应只看每秒请求数。一次请求可能触发大模型生成、工具调用或 Agent 编排,消耗的令牌数、并发连接数和下游资源差异很大。Amazon Bedrock AgentCore Gateway 支持针对 AI 流量配置限流,并可按 JWT 声明或 IAM 身份划分额度,让单一调用方或单一目标的流量尖峰不会拖垮模型、工具或 Agent。 常见 ...

用时间策略和网关限流,把 Bedrock AgentCore 的智能体成本关进笼子

来源: aws.amazon.com 51
智能体的风险往往不在某一次工具调用,而在一连串看似合理的动作中累积:重复检索、反复重试、持续调用高成本模型,最终让一次任务越过预算边界。Amazon Bedrock AgentCore 新增的时间策略(temporal policies)和网关限流(rate limiting),把控制范围从“单次请求是否允许”扩展到“这段时间内的行为序列是否合规”。 ...

用 OpenTelemetry 和 CloudWatch 看清 Codex 的采用率、用量与可靠性

来源: aws.amazon.com 49
当 Codex 这类编码代理从个人试用进入团队工作流,管理问题也随之变化:哪些团队正在使用、调用量如何增长、服务是否稳定,以及成本应该归属到哪里。仅靠个人反馈或月底账单,很难回答这些问题。 一种 AWS 原生的实现路径是:让 Codex 输出 OpenTelemetry 指标,将数据发送到本地 OpenTelemetry Collector,再由 Co...

把 Claude Code 推理锁定在伦敦:Bedrock 单区域数据驻留实战

来源: aws.amazon.com 48
对于金融、医疗和公共部门团队,“数据留在英国”往往还不够。更严格的控制要求是:Claude Code 的每一次模型推理都只能在指定的 AWS 区域内完成,例如伦敦区域 ,不能由跨区域推理机制转发到其他区域。 在 Amazon Bedrock 上,可以采用两条路径实现这种约束:使用单区域应用推理配置文件,或者让 Claude Code 连接指定区域的 M...

把 Amazon Bedrock Automated Reasoning 策略变成可重复的 Agent 工程流水线

来源: aws.amazon.com 51
Amazon Bedrock Automated Reasoning 策略的价值,在于用形式化规则验证模型回答是否满足业务约束。但一条策略从需求描述走到生产环境,通常还要经历构建、审查、测试、调试、部署和上线验证。开源 Agent Skills 把这些原本偏控制台、偏专家操作的步骤交给编码 Agent 编排,使策略也能像应用代码一样进入版本控制、代码审...

用 Amazon Bedrock 与 AWS Lambda 构建受治理的智能应用部署器

来源: aws.amazon.com 52
让非技术员工用自然语言描述需求,然后在数秒内得到一个已经部署、支持多租户的 Web 应用,这不只是“让大模型写代码”。PDI Technologies 构建的 PDI Brew 更接近一套智能交付系统:Amazon Bedrock 负责理解意图并生成结构化计划,AWS Lambda 中的配置代理负责把计划转换成受约束、可审计的云资源。 真正值得关注的,...

在 Notebook 中完成 LLM 推理基准测试与 SageMaker 部署优化

来源: aws.amazon.com 59
Amazon SageMaker Python SDK v3 将生成式 AI 推理建议直接带进了 Notebook 工作流。开发者可以围绕同一个模型依次完成端点基准测试、生成数据驱动的部署建议,并部署推荐配置,不必在 Notebook、控制台和零散脚本之间反复切换。 这项集成真正解决的并不是“少点几次鼠标”,而是让性能数据、部署决策和可复现代码处在同一...

主权 AI 的混合架构:把模型能力带进本地,而不是把敏感数据送出去

来源: cloud.google.com 53
对受严格监管的企业和政府机构来说,AI 基础设施过去常常是一道二选一:把数据留在本地,还是使用公有云中的先进模型与算力。如今,混合云和分布式云正在改变这个前提。组织可以把推理服务、模型和管理能力部署到自己的数据中心或边缘环境,同时继续利用云端的软件生命周期和弹性资源。 这并不意味着只要安装一套本地集群就自动获得了“主权”。真正的主权 AI,需要同时回答...

从用户行为序列到规模定律:广告排序系统的多阶段架构

来源: engineering.fb.com 59
当推荐系统每天处理数十亿次用户互动时,用户刚刚看过什么、点击过什么、停留了多久,以及这些行为发生的先后顺序,往往比一组静态标签更能说明当前意图。Meta 关于广告排序的最新实践,将讨论重点从“如何加入序列特征”推进到了“如何让序列建模在大规模系统中持续扩展”:模型结构、数据处理和计算预算需要一起设计。 传统广告排序系统通常依赖稀疏特征,例如用户兴趣标签...

LendingTree 如何在 Amazon Bedrock 上构建多智能体房贷助手

来源: aws.amazon.com 52
房贷咨询同时涉及用户画像、贷款产品、月供计算和合规边界。LendingTree 将这些职责拆分给三个协同智能体,并部署在 Amazon Bedrock 上,借助 LangGraph 管理流程、Model Context Protocol(MCP)连接工具和数据,再配合 Amazon Nova 模型与内置护栏,构建了一个可以全天候提供个性化指导的生产级助...