标签

机器学习

Miles：把 SGLang、Megatron-LM 和 Ray 串起来做大规模 LLM 强化学习后训练

来源: pytorch.org 36
LLM 后训练正在从“单机脚本调参”走向“分布式系统工程”。Miles 的定位很明确：用 PyTorch 原生的方式，把 SGLang 的 rollout、NVIDIA Megatron-LM 的训练、Ray 的编排能力组合起来，做大规模 LLM RL post-training，同时保留一个较小、可插拔的扩展面。 这类框架的价值不在于发明一个全新的训...
# AI # LLM # PyTorch
阅读全文

用 AG-UI 把 Bedrock AgentCore 代理变成可交互前端

来源: aws.amazon.com 28
AI 代理如果只会返回一段文本，很快会撞到产品边界：用户需要确认操作、编辑中间状态、查看结构化结果，甚至让代理临时生成一个小界面。AG-UI 的价值就在这里：它把代理运行过程中的状态、事件和 UI 意图变成前端可以消费的协议层。来源文章讨论了 AG-UI 如何接入 Amazon Bedrock AgentCore 的 Fullstack AgentCo...
# AI # AWS # LLM
阅读全文

用托管权益把 Amazon Bedrock 模型访问收口到一个中央账号

来源: aws.amazon.com 41
多账号架构里，Amazon Bedrock 模型访问常常卡在一个现实问题上：每个工作负载账号都要处理订阅、权限和治理。托管权益的思路是把“订阅一次、组织内分发访问”变成中心化流程，让中央账号负责模型订阅和授权，工作负载账号不再需要直接拥有 AWS Marketplace 相关权限。 在大型组织里，Bedrock 的使用者通常不是一个账号：研发、数据平台...
# AI # AWS # 云平台
阅读全文

用 Amazon Bedrock 和 LLM Gateway 给生成式 AI 应用加上韧性

来源: aws.amazon.com 24
生成式 AI 应用上线后，最先暴露的往往不是 prompt 写得好不好，而是系统能不能扛住流量、限额和依赖波动：突发访问把模型配额打满，单一区域推理不可用，多租户场景里某个客户把大家的吞吐吃光。围绕 Amazon Bedrock，可以从托管能力开始做韧性设计，再逐步引入 LLM gateway，把多模型、多区域、多租户策略收敛到统一入口。 下面按工程落...
# AI # AWS # LLM
阅读全文

Outpost VFX 如何用 AWS 多 GPU 训练把换脸模型提速 8 倍

来源: aws.amazon.com 28
视觉特效里的 AI 换脸不是“跑一个模型”那么简单。镜头多、角色多、光照和表情变化复杂，训练时间会直接影响制作排期。Outpost VFX 的案例值得关注：他们把原本受单 GPU 限制的换脸训练流程迁移到 AWS 多 GPU 基础设施上，训练速度提升到约 8 倍，让模型迭代从瓶颈变成可调度的生产能力。 换脸模型训练通常会遇到三个硬问题： 数据量大：一个...
# AI # AWS # 云平台
阅读全文

用 Amazon Bedrock 蒸馏双语货运 NER：从大模型到可部署小模型

来源: aws.amazon.com 35
货运物流里的实体识别不是普通 NER。提单、航班、机场、ULD、商品描述、客户备注经常混着英文缩写、本地语言、行业黑话和不完整句子。来源文章分享了 IBS Software 使用 Amazon Bedrock 知识蒸馏能力构建双语货运 NER 的技术路线：用更强的教师模型生成 token 级标注，再训练更轻、更稳定、成本更可控的学生模型。 这类方案的价...
# AI # AWS # Go
阅读全文

用 SageMaker 微调 Amazon Nova，让邮件抽取从“差不多”变成“字段级准确”

来源: aws.amazon.com 34
邮件数据抽取看起来像一个简单的文本理解任务：把发件人、订单号、金额、日期、地址、客户意图从邮件里拿出来。但真实业务邮件往往格式混乱、字段相似、表达重复，通用大模型很容易把“账单地址”和“收货地址”混在一起，或者把邮件正文里的历史引用当成最新请求。 这篇内容关注一个具体方向：用 Amazon SageMaker AI 微调 Amazon Nova 模型，...
# AI # AWS # 云平台
阅读全文

给 Amazon QuickSight BI 资产做一套可恢复的备份方案

来源: aws.amazon.com 36
QuickSight 里的仪表板、分析、数据集、数据源和主题一旦进入生产，就不只是“报表配置”，而是 BI 交付链路的一部分。备份策略的目标不是把所有东西定期导出那么简单，而是在误删、错误发布、跨账号迁移或灾难恢复时，能明确知道备份了什么、在哪里、能不能恢复。 QuickSight 资产之间有依赖关系。一个 dashboard 可能依赖 analysi...
# AI # AWS # 云平台
阅读全文

用 Nova 2 Lite 和 Claude 搭一条低成本扫描件数字化流水线

来源: aws.amazon.com 27
扫描件数字化最容易被低估的地方，不是 OCR 本身，而是“页面上这些文字到底对应哪张脸、哪个表格、哪个区域”。这篇方案的核心变化是把任务拆给两个模型：Amazon Nova 2 Lite 先做原生多模态抽取，在一次调用里识别照片、可见姓名、坐标和页面级元数据；Claude Sonnet 4.6 再根据版面做空间推理，把名字和人脸配对。这样既控制成本，也...
# AI # AWS # 云平台
阅读全文