标签

机器学习

让 AI Agent 安全地花钱：Amazon Bedrock AgentCore Payments 的防护机制

来源: aws.amazon.com 30
让一个 AI Agent 帮你下单付款，听起来很方便——直到它花错了钱。Agent 自主调用支付接口的那一刻，风险就从"对话幻觉"升级成了"真实损失"。Amazon Bedrock AgentCore Payments 正是为了解决这个问题而生：在 Agent 和支付动作之间插入一层内置的防护栏（guardrails），让 agentic paymen...
# AI # AWS # LLM
阅读全文

AgentOps：让 AI Agent 在生产环境真正可控

来源: aws.amazon.com 33
Agent 不再只是按脚本跑的流水线——它会推理、会变道、会自己拍板。这意味着传统 DevOps 的监控、回滚、成本管控手段，在 Agent 场景下几乎全部失效。一次"聪明"的自主决策，可能让调用链多绕三圈，Token 费用翻十倍，而日志里只留下一句模糊的 。 Amazon 在 Bedrock AgentCore 上提出了一套 AgentOps 纪律：...
# AI # AWS # LLM
阅读全文

用 GPUDirect + FSx for Lustre 加速百亿参数 LLM 加载，TurboQuant 扩展上下文窗口

来源: aws.amazon.com 153
当你把一个 70B 甚至 175B 参数的大模型往 GPU HBM 里塞的时候，等待时间会随参数量线性膨胀——几百 GB 的权重文件先从存储读到 CPU 内存，再从 CPU 内存拷贝到 GPU，整个过程 GPU 干等着，推理启动慢、资源浪费大。AWS 近期把 GPUDirect Storage（GDS）与 Amazon FSx for Lustre 打...
# AI # AWS # LLM
阅读全文

用 MCP 让时序数据库开口说话：Amazon QuickSight + KDB-X 实战

来源: aws.amazon.com 30
时序数据从来都不缺——金融行情、IoT 传感器、DevOps 指标，每秒都在涌入。缺的是让业务人员自己拿到答案的能力。分析师想问"过去 24 小时这只股票的波动率是多少"，要么等数据团队排期写 SQL/Q 查询，要么在仪表盘里翻半天。Amazon QuickSight 搭上 KDB-X 的 MCP Server，把这条链路压成一句话：用自然语言提问，直...
# AI # AWS # 云平台
阅读全文

LinkedIn 用 PyTorch 重写分布式线性规划求解器：从 CPU 到 GPU 的极限优化之路

来源: pytorch.org 35
LinkedIn 每天要处理数以亿计的分配决策——广告投放、通知推送、内容推荐，背后都指向同一类数学问题：线性规划（LP）。当变量规模从几千膨胀到几十亿，传统求解器要么跑不完，要么跑不起。LinkedIn 的做法很硬核：把整个分布式 LP 求解器 DuaLip 用 PyTorch 重写，让 GPU 来扛最重的计算。这不是"换个框架跑跑看"的实验，而是生...
# AI # PyTorch # 前端
阅读全文

给 SageMaker AI 上的大模型推理装上"全息仪表盘"——从 GPU 利用率到生成质量一站式可观测

来源: aws.amazon.com 39
大模型上线推理后，运维团队最怕的不是"模型不跑"，而是"模型跑着但悄悄变差"。传统监控只盯着 GPU 利用率、请求延迟这些基础设施指标，对 LLM 输出质量——延迟首字时间（TTFT）、吞吐量（Tokens/s）、输出截断率——几乎一无所知。Amazon SageMaker AI 的 Inference Component 架构配合 CloudWatc...
# AI # AWS # LLM
阅读全文

在 SageMaker AI 上为形态丰富语言训练专属大模型——阿塞拜疆语实践

来源: aws.amazon.com 51
阿塞拜疆语属于突厥语族，一个词通过后缀叠加可以表达英语整句话的含义——名词有 18 种格变，动词时态与人称通过层层黏着完成。这种"形态丰富"（morphologically rich）的语言对大模型来说意味着两件事：词表膨胀极快，训练数据却极其稀缺。Azercell 作为阿塞拜疆最大电信运营商，需要在六周内从零搭建一套生产级训练框架，把通用基础模型改造...
# AI # AWS # LLM
阅读全文

用 React + Flask 反向代理嵌入 SageMaker MLflow，搭一个带 SigV4 鉴权的自定义实验追踪门户

来源: aws.amazon.com 44
SageMaker AI 现在支持托管 MLflow Server，但默认的访问方式要么走 SageMaker Studio 内部，要么依赖 AWS IAM 策略直接暴露端点——两者都不适合直接面向团队内部的非 AWS 用户。这篇文章给出了一套完整方案：React 前端嵌入 MLflow UI，Flask 反向代理自动签注 SigV4 请求，整栈用 C...
# AI # AWS # React
阅读全文

用 Flask 代理打通外部访问 Amazon SageMaker MLflow 的 REST 通道

来源: aws.amazon.com 40
很多团队在向云迁移的过程中，都会碰到一个现实问题：本地训练脚本、调度系统、监控面板已经围绕 MLflow 搭好了整套流程，但一旦把实验追踪服务搬到 Amazon SageMaker MLflow，外部系统就得装 MLflow SDK、配 VPC 网络才能连上——这对还在过渡期的组织来说改动面太大。AWS 最近给出的方案是：在 SageMaker MLf...
# AI # AWS # Go
阅读全文

用 LangSmith 在 AWS 上评估深度 Agent：从离线测试到线上监控的完整路径

来源: aws.amazon.com 38
当你把一个 Agent 从 demo 推到生产环境，最大的问题不是"它能不能跑"，而是"它跑得对不对、稳不稳"。深度 Agent——那种会多步推理、调用工具、自己纠错的 Agent——比单轮 LLM 调用难评估得多：一次对话可能触发 5 次工具调用，中间任何一步偏了，最终结果就废了。这篇文章把 LangChain 在深度 Agent 评估上的经验和 A...
# AI # AWS # LLM
阅读全文