标签

LLM

用多模态大模型做裁判:Strands Evals 里的图像-文本评估实践

来源: aws.amazon.com 35
你做了一个发票识别模型,它返回"总金额:¥12,580"。数字看着合理,格式也没问题——但你怎么知道它真的从图片里读出来的,而不是"猜"的? 文本评估器回答不了这个问题。它只能比对输出和参考答案的字符串相似度,无法判断模型输出是否忠实于源图像。这正是 Strands Evals 引入 MLLM-as-a-judge(多模态大模型做裁判)的原因:让评估器...

用 SageMaker AI 和 vLLM 构建实时语音应用:从"等音频传完"到"边说边转"

来源: aws.amazon.com 44
语音代理、实时字幕、呼叫中心分析、无障碍辅助工具——这些场景的共同底座是实时语音转文字(streaming speech-to-text)。用户一边说话,系统一边出结果,整条链路跑在一条持久连接上,延迟必须压到毫秒级。 传统推理模式在这里直接卡壳:请求-响应架构要求音频全部收齐后才开始推理,等一段 10 秒的录音传完再出结果,体验已经崩了。Amazon...

在 Azure IaaS 上搭建高性能工作负载:别只挑 VM 规格,要看整体系统

来源: azure.microsoft.com 49
云上的性能瓶颈,往往不在 CPU 核数或内存大小本身,而在于计算、存储、网络三者之间的配合是否紧密。Azure 近期在 IaaS 层面推动的"系统级思路",核心就是一句话:别把 VM、磁盘、虚拟网络当成独立零件采购,而是把它们当作一个整体系统来设计。 这对跑 AI 训练、云原生微服务、关键业务数据库的团队尤其重要——单资源再强,如果网络吞吐跟不上磁盘 ...

用多 Agent 系统接管工程支持:Grab 数据仓库平台的实践

来源: infoq.com 45
数据仓库平台团队最头疼的事不是写新功能,而是日复一日回答"这个查询为什么慢""表为什么没更新""权限怎么配"。Grab 的 Central Data Team 也被这类重复性支持请求拖住了手脚,直到他们用多 Agent AI 系统把调查和优化两类工作拆开、交给专门的 Agent 处理,才把工程师的时间从"灭火"拉回到真正的平台建设上。 Grab 的数据...

用多智能体系统替代救火式工程支持——Grab 数据团队的架构实践

来源: infoq.com 44
数据平台团队最头疼的不是技术难题,而是日复一日的重复性支持请求:表权限报错、管道延迟、数据质量异常……这些工单把工程师拖进"救火循环",真正该做的平台基建工作反而被挤到角落。Grab 的 Central Data Team 用一套多智能体系统把这类重复任务自动化,让工程师的精力重新回到平台建设上。 数据仓库平台一旦服务数百个业务团队,支持请求的量级会迅...

Prempti:给 AI 编程代理套上缰绳

来源: cncf.io 45
AI 编程代理已经不再是实验玩具。Claude Code 坐在你的终端里,读文件、跑命令、发网络请求、写代码——全是以你的名义。便利是真实的,风险也是真实的:一个没有约束的代理可以误删生产配置、把密钥推到公开仓库、或者执行一条你根本没打算运行的 shell 命令。Prempti 的切入点很直接——策略(Policy)与可见性(Visibility),让...

DeepSeek 的 Agent 公式:Model + Harness = Agent,工程外壳才是关键

来源: oschina.net 42
DeepSeek 近期挂出"Agent Harness 产品经理"岗位,正式组建 Harness 团队。招聘信息里一句话把思路钉得很死——Model + Harness = Agent。模型是引擎,Harness 是底盘、方向盘和刹车。引擎再强,没有底盘也跑不起来。 这个公式不是修辞,是工程事实。下面拆开看 Harness 到底要包什么,以及你自己怎么...

用 20 行 Python 把 AI Agent 跑在本地——Google Antigravity SDK 实战入门

来源: oschina.net 35
调用远程 Agent API,是过去两年开发者把 AI 嵌入应用的主流路径。这条路走得越深,痛点越明显:每次请求都要跨网络往返,延迟从几百毫秒飙到数秒;定制只能靠 prompt 拼凑,想改推理策略就得和平台方博弈;一旦服务端限流或断线,你的产品就跟着停摆。Google 在 I/O 2026 上发布的 Antigravity SDK,给出了另一条路——用...

AgentScope Java 1.1.0:Harness 工程框架落地,从本地提效到分布式 Agent 一套搞定

来源: my.oschina.net 76
AgentScope Java 1.1.0 把之前规划中的 Harness Framework 全部交付了。这意味着 Java 开发者不再需要自己拼凑 Agent 的基础设施——消息路由、服务发现、容错重试、分布式编排这些"脏活"都由 Harness 承担,你只需要关注 Agent 的业务逻辑。 从个人提效的 Coding Agent 到企业级的 SR...