标签

机器学习

用 SageMaker AI 和 vLLM 构建实时语音应用:从"等音频传完"到"边说边转"

来源: aws.amazon.com 43
语音代理、实时字幕、呼叫中心分析、无障碍辅助工具——这些场景的共同底座是实时语音转文字(streaming speech-to-text)。用户一边说话,系统一边出结果,整条链路跑在一条持久连接上,延迟必须压到毫秒级。 传统推理模式在这里直接卡壳:请求-响应架构要求音频全部收齐后才开始推理,等一段 10 秒的录音传完再出结果,体验已经崩了。Amazon...

PyTorch Docathon 2026:150+ PR 落地,文档贡献其实没那么难

来源: pytorch.org 34
PyTorch Docathon 2026 刚落下帷幕,社区交出了 150+ 已合并 PR 的成绩单。一场围绕文档的冲刺活动,能吸引这么多人持续投入,本身就说明一件事——PyTorch 的文档痛点真实存在,而修复它的门槛比很多人想象的要低。 PyTorch 的 API 数量庞大,从 到 ,从 eager mode 到 TorchScript、torch...

用 Amazon Nova Sonic 构建可扩展语音 Agent:多 Agent、工具调用与会话分段实战

来源: aws.amazon.com 47
语音 Agent 和文本 Agent 最大的区别不是"多了一个语音通道",而是延迟容忍度完全不同。文本对话里 2 秒的等待用户觉得正常,语音对话里超过 500ms 的沉默就会让人怀疑对方是不是掉线了。Amazon Nova Sonic、Bedrock AgentCore 和 Strands BidiAgent 这套组合,本质上是在解决一个工程问题:怎么...

用 MCP 服务器把 Kiro CLI 的对话记忆接入 Amazon Bedrock AgentCore Memory

来源: aws.amazon.com 31
Kiro CLI 让你在终端里直接和 AI 代理对话,但默认的对话记忆有限——关掉终端,上下文就丢了。Amazon Bedrock AgentCore Memory 是一个全托管服务,能让 AI 代理跨会话保留信息,对话越用越"懂你"。问题在于:两者之间没有现成的桥梁。这篇文章讲的是如何写一个自定义 MCP(Model Context Protocol...

用 SageMaker Feature Store 新能力加速 ML 特征管线

来源: aws.amazon.com 43
Amazon SageMaker Python SDK v3.8.0 带来了三项面向 Feature Store 的更新,直击特征工程管线里最拖节奏的环节:数据治理审批慢、表格式切换成本高、离线/在线同步配置繁琐。下面逐项拆解,并给出可以直接跑的代码。 过去往 Feature Store 写特征组,数据权限基本靠手动在 S3 和 Glue 上配 IAM...

Amazon Bedrock 上实现程序化工具调用的三种路径

来源: aws.amazon.com 46
模型能"说"要调用工具,但谁来真正执行代码、返回结果?Amazon Bedrock 近期推出的 Programmatic Tool Calling(PTC)把这个问题推到了开发者面前:你需要一个沙箱来安全地跑代码,再把输出喂回模型。选哪种沙箱方案,直接决定了你的控制粒度、运维成本和开发体验。 下面拆解三种实现方式——自建 ECS Docker 沙箱、B...

用 Amazon Nova 2 Lite 做内容审核:结构化提示词实战与基准对比

来源: aws.amazon.com 76
内容审核是每个上线产品都要面对的问题——用户生成的文本、图片、视频里,哪些该拦、哪些该放,标准往往模糊且频繁变动。传统方案靠关键词匹配或小模型分类,维护成本高、泛化能力差。Amazon Nova 2 Lite 把大语言模型的理解能力直接用在审核环节:你只需要把审核规则写进提示词,模型就能按你的定义做判断。 这篇文章拆解两种提示词写法——结构化与自由式,...

用 Amazon Q 统一六套系统搜索、自动化文档流程——Aderant 的云运维实践

来源: aws.amazon.com 40
法律行业软件公司 Aderant 运维团队每天要跨六套不同供应商系统查信息、写文档:工单在 ServiceNow,知识库在 Confluence,代码在 GitHub,资产台账在另一套 CMDB……搜索一个问题的完整上下文,往往要手动跳转多个平台,耗时数分钟甚至更久。文档编写更是重复劳动——同样的变更记录,要在不同系统里各写一遍。 他们用 Amazon...

把 Confluence 知识库接入 Amazon Q:语义搜索与自动化操作实战

来源: aws.amazon.com 45
企业内部最重的知识资产往往躺在 Confluence 里——项目文档、运维手册、决策记录,几百上千页,靠标题和标签翻找越来越像大海捞针。Amazon Q Business(下文简称 Q)提供了语义搜索和 Actions 机制,能把 Confluence 从"被动存档"变成"主动回答"。这篇文章走一遍完整接入流程:建知识库、配 Actions、用 Spa...