标签

云平台

用 AG-UI 把 Bedrock AgentCore 代理变成可交互前端

来源: aws.amazon.com 28
AI 代理如果只会返回一段文本,很快会撞到产品边界:用户需要确认操作、编辑中间状态、查看结构化结果,甚至让代理临时生成一个小界面。AG-UI 的价值就在这里:它把代理运行过程中的状态、事件和 UI 意图变成前端可以消费的协议层。来源文章讨论了 AG-UI 如何接入 Amazon Bedrock AgentCore 的 Fullstack AgentCo...

用托管权益把 Amazon Bedrock 模型访问收口到一个中央账号

来源: aws.amazon.com 41
多账号架构里,Amazon Bedrock 模型访问常常卡在一个现实问题上:每个工作负载账号都要处理订阅、权限和治理。托管权益的思路是把“订阅一次、组织内分发访问”变成中心化流程,让中央账号负责模型订阅和授权,工作负载账号不再需要直接拥有 AWS Marketplace 相关权限。 在大型组织里,Bedrock 的使用者通常不是一个账号:研发、数据平台...

用 Amazon Bedrock 和 LLM Gateway 给生成式 AI 应用加上韧性

来源: aws.amazon.com 24
生成式 AI 应用上线后,最先暴露的往往不是 prompt 写得好不好,而是系统能不能扛住流量、限额和依赖波动:突发访问把模型配额打满,单一区域推理不可用,多租户场景里某个客户把大家的吞吐吃光。围绕 Amazon Bedrock,可以从托管能力开始做韧性设计,再逐步引入 LLM gateway,把多模型、多区域、多租户策略收敛到统一入口。 下面按工程落...

Outpost VFX 如何用 AWS 多 GPU 训练把换脸模型提速 8 倍

来源: aws.amazon.com 28
视觉特效里的 AI 换脸不是“跑一个模型”那么简单。镜头多、角色多、光照和表情变化复杂,训练时间会直接影响制作排期。Outpost VFX 的案例值得关注:他们把原本受单 GPU 限制的换脸训练流程迁移到 AWS 多 GPU 基础设施上,训练速度提升到约 8 倍,让模型迭代从瓶颈变成可调度的生产能力。 换脸模型训练通常会遇到三个硬问题: 数据量大:一个...

用 Amazon Bedrock 蒸馏双语货运 NER:从大模型到可部署小模型

来源: aws.amazon.com 35
货运物流里的实体识别不是普通 NER。提单、航班、机场、ULD、商品描述、客户备注经常混着英文缩写、本地语言、行业黑话和不完整句子。来源文章分享了 IBS Software 使用 Amazon Bedrock 知识蒸馏能力构建双语货运 NER 的技术路线:用更强的教师模型生成 token 级标注,再训练更轻、更稳定、成本更可控的学生模型。 这类方案的价...

用 SageMaker 微调 Amazon Nova,让邮件抽取从“差不多”变成“字段级准确”

来源: aws.amazon.com 34
邮件数据抽取看起来像一个简单的文本理解任务:把发件人、订单号、金额、日期、地址、客户意图从邮件里拿出来。但真实业务邮件往往格式混乱、字段相似、表达重复,通用大模型很容易把“账单地址”和“收货地址”混在一起,或者把邮件正文里的历史引用当成最新请求。 这篇内容关注一个具体方向:用 Amazon SageMaker AI 微调 Amazon Nova 模型,...

Azure IaaS 成本优化:把省钱设计进云基础设施

来源: azure.microsoft.com 21
企业把关键业务迁到云上、重构云原生应用、扩展 AI 工作负载时,IaaS 成本很容易从“按需弹性”变成“持续膨胀”。真正长期有效的成本优化,不是月底看账单后手动关几台虚拟机,而是在设计、构建和运营 Azure 基础设施时,把成本效率当成架构原则。 Azure IaaS 的成本主要来自虚拟机、磁盘、网络、备份、日志、快照和跨区域流量。很多团队一开始只盯 ...

AWS Lambda MicroVMs:给每个 Agent 一台隔离的 Firecracker 小虚机

来源: infoq.com 25
AWS 推出了 Lambda MicroVMs,这不是又一个普通的函数运行时,而是一个面向“每个用户会话、每个 AI Agent 都需要独立沙箱”的 serverless 计算原语。它把执行单元放进独立的 Firecracker 虚拟机里,强调硬件级隔离、基于快照的快速启动,以及最长 8 小时的状态保留。 这件事之所以值得关注,是因为 AI Agent...