标签

机器学习

在 Apple Silicon GPU 上跑 PyTorch 模型:ExecuTorch MLX Delegate 实战

来源: pytorch.org 48
过去在 Mac 上做推理,要么老老实实跑 CPU,要么绕道转成 CoreML 模型——中间的格式转换和精度损失让人头疼。Apple 的 MLX 框架已经证明 M 系列芯片的 GPU 能跑出相当不错的推理速度,但 PyTorch 生态一直缺少一条直通路径。ExecuTorch MLX Delegate 的出现,把这条路铺通了:PyTorch 模型导出后,...

用 Amazon Bedrock AgentCore 自建代码级评估器:从金融情报 Agent 的四个实战案例说起

来源: aws.amazon.com 48
金融市场的 AI Agent 一旦上线,回答质量直接关系到交易决策和合规风险。Amazon Bedrock AgentCore 最近开放了自定义代码评估器(custom code-based evaluator)能力,让你可以用 Lambda 函数对 Agent 输出做细粒度、可编程的质检——不再只能依赖内置的通用指标。 这篇文章围绕一个金融市场情报 ...

用文档级 ACL 给 Amazon Q 知识库加一道"门禁"

来源: aws.amazon.com 32
当知识库接入 Amazon Q 后,所有被索引的文档都可能出现在聊天回答里。如果 S3 桶里同时存放了全员可见的规章制度和仅限高管查看的薪酬方案,不加权限过滤就等于把锁拆了。Amazon Q Business 的 S3 知识库支持文档级访问控制列表(ACL),让每条文档自带"谁能看"的标签,聊天和自动化工作流都会自动遵守这套规则。 Amazon Q 在...

让对话机器人更懂你:Amazon Lex Assisted NLU 实战指南

来源: aws.amazon.com 49
传统 NLU 模型靠语料喂养意图,写几条样本句就指望模型猜出用户心思——结果往往是意图混淆、槽位漏抓、上线后疯狂补样本。Amazon Lex 推出的 Assisted NLU 改变了这条老路:通过意图和槽位的结构化描述,让模型在训练阶段就"读懂"每个意图的业务语义,而不是仅靠样本句做模式匹配。下面拆解具体做法。 Assisted NLU 的核心变化是—...

用 Stream Vision Agents 和 Amazon Nova 2 Sonic 搭建实时语音 Agent

来源: aws.amazon.com 37
语音交互正在从"演示级玩具"走向"生产级产品"。过去搭一个实时语音 Agent,你要自己搞定 WebSocket 管理、音频流缓冲、VAD(语音活动检测)、TTS/STT 编排、断线重连……光基础设施就够写一个月。Stream 的 Vision Agents 开源框架把这套管线标准化了,再配上 Amazon Bedrock 上的 Nova 2 Soni...

跨账户查 Athena 数据:Amazon QuickSight 的 IAM 角色链实战

来源: aws.amazon.com 65
过去在多账户 AWS 架构里做数据分析,最头疼的一件事就是:数据在账户 A 的 Athena 里,QuickSight 却部署在账户 B。要么把数据复制一份过来,要么给 VPC Peering / S3 跨账户访问开一堆权限——两种方案都费钱又费时。现在 Amazon QuickSight 正式支持了跨账户 Athena 访问,用 IAM 角色链打通两...

用 Chrome 企业策略给 AI 浏览器 Agent 画一道"围栏"

来源: aws.amazon.com 36
当 AI Agent 拿到浏览器权限,它可以去任何网站——这对企业来说是个不可接受的风险。Amazon Bedrock AgentCore 现在支持将 Chrome 企业策略注入浏览器会话,让你精确控制 Agent 能访问哪些域名、能否下载文件、是否允许执行 JavaScript。本文演示如何配置这些策略、通过会话录制验证策略生效,以及如何注入自定义根...

PyTorch 2.12:批量 eigh 在 CUDA 上提速百倍,线性代数运算迎来质变

来源: pytorch.org 30
PyTorch 2.12 发布了。如果你日常用 做矩阵分解,这一版值得立刻升级——批量化的 (对称矩阵特征值分解)在 CUDA 上最高提速 100 倍。这不是微调,是质变。下面拆开看具体发生了什么,以及怎么在你的项目里用上它。 对单个对称矩阵做特征值分解,是量子化学、信号处理、PCA 等场景的核心算子。过去在 CUDA 上,如果你传入一批(batche...

用 Pulse AI + Amazon Bedrock 搭建金融文档抽取与微调流水线

来源: aws.amazon.com 42
金融文档是出了名的难啃——年报里表格嵌套、注释跨页、格式千差万别;招股书里术语密集、数据点散落各处。传统 OCR 能把像素变成文字,却分不清"净利润"和"归属于母公司股东的净利润",更无法把第 87 页的附注和第 12 页的主表关联起来。这篇文章来看一条更务实的路径:用 Pulse AI 的文档理解能力做结构化抽取,再用 Amazon Bedrock ...

用 Amazon Nova Sonic + WebRTC 搭建实时语音交互直播应用

来源: aws.amazon.com 38
直播场景里加一个"能听懂观众说话、实时回应"的 AI 主持人,听起来很酷,落地却很疼:音频采集延迟、双向流同步、模型推理卡顿、WebRTC 信令协商复杂……一个环节掉链子,用户体验就崩。AWS 最近给出了一个组合方案——Amazon Nova 2 Sonic 负责语音理解与生成,Kinesis Video Streams WebRTC 负责低延迟双向传...