标签

LLM

给 SageMaker AI 上的大模型推理装上"全息仪表盘"——从 GPU 利用率到生成质量一站式可观测

来源: aws.amazon.com 40
大模型上线推理后，运维团队最怕的不是"模型不跑"，而是"模型跑着但悄悄变差"。传统监控只盯着 GPU 利用率、请求延迟这些基础设施指标，对 LLM 输出质量——延迟首字时间（TTFT）、吞吐量（Tokens/s）、输出截断率——几乎一无所知。Amazon SageMaker AI 的 Inference Component 架构配合 CloudWatc...
# AI # AWS # LLM
阅读全文

Claude Opus 4.8 登陆 Microsoft Foundry：最强 Opus 模型现在可以直接在 Azure 上调用

来源: techcommunity.microsoft.com 48
Anthropic 的旗舰模型 Claude Opus 4.8 正式上线 Microsoft Foundry（Azure AI Foundry）。对于已经在 Azure 上构建应用的企业和开发者来说，这意味着不再需要额外对接 Anthropic 的独立 API——直接在现有的 Azure 资源体系内就能调用 Opus 级别的推理能力，覆盖代码生成、智能...
# AI # Azure # LLM
阅读全文

AI 辅助罕见病诊断：波士顿儿童医院用 OpenAI 技术突破诊断瓶颈

来源: openai.com 45
罕见病的诊断平均耗时 5-7 年，患者往往辗转多家医院、经历数十次误诊。波士顿儿童医院近期披露：借助 OpenAI 技术，他们已成功辅助诊断超过 40 例罕见病，同时减轻了临床团队的运营负担。这不是一个"AI 替代医生"的故事，而是一个"AI 把人类专家从信息沼泽里拉出来"的工程实践。 罕见病单病种发病率极低，但总数超过 7000 种，累及全球约 3 ...
# AI # LLM # OpenAI
阅读全文

用 Codex 把客户需求直接变成代码：Braintrust 的工程实践

来源: openai.com 34
客户提了一个需求，工程师打开 IDE，从零开始写代码——这条路径在 AI 时代正在被压缩。Braintrust 团队最近分享了他们如何用 OpenAI 的 Codex 配合 GPT-5.5，把客户请求快速转化为可运行的代码，并在自己的评估平台上完成实验闭环。 这不是"AI 写代码然后人盲审"的粗糙流程，而是把 Codex 嵌进需求→代码→验证的完整链路...
# AI # LLM # OpenAI
阅读全文

GitHub 把 Agent CI 工作流的 Token 开销砍了 62%——三板斧拆解

来源: infoq.com 41
Agent 工作流跑 CI，模型调用一多，Token 费用就悄悄失控。GitHub 工程团队最近公开了一组数据：通过修剪 MCP 工具、用 CLI 替代部分 MCP 调用、再加上每天自动跑"审计员"和"优化员"两个 Agent，他们把 agentic CI 流程的 Token 消耗压降了最多 62%。不是靠换便宜模型，而是靠让每次调用更"有效"。 下面...
# AI # InfoQ # LLM
阅读全文

GitHub 把 Agent CI 工作流的 Token 开销砍掉 62%——裁 MCP、换 CLI、日审计

来源: infoq.com 26
Agent 跑 CI，Token 烧得比服务器还贵，这不是段子而是不少团队的日常。GitHub 最近公开了一组数据：通过裁剪无用 MCP 工具、把部分 MCP 调用换成 CLI、再配上每天自动跑的审计与优化 Agent，他们的 agentic CI 工作流 Token 开销最高降了 62%。做法并不玄学，拆开看每一步都是工程决策。 MCP（Model ...
# AI # InfoQ # LLM
阅读全文

QEMU 对 AI 生成内容开了一扇门：非关键领域可接纳 LLM 贡献

来源: oschina.net 34
去年 QEMU 项目明确禁止任何包含或衍生自 AI 生成内容的贡献，态度堪称行业最硬。如今这道墙有了裂缝——红帽虚拟化工程师 Paolo Bonzini 在邮件列表发布补丁，提议将"全面禁止"改为"分区管理"：非关键领域允许 AI/LLM 辅助产出，关键路径仍需人工把关。 这不是随意的妥协，而是对 LLM 能力边界重新评估后的务实调整。 QEMU 最初...
# AI # LLM # 全栈
阅读全文

Anthropic 拿下 650 亿美元 H 轮：估值逼近万亿，开发者该怎么看？

来源: oschina.net 37
Anthropic 刚刚宣布完成 650 亿美元的 H 轮融资，投后估值 9650 亿美元——这个数字已经把大多数上市科技公司甩在身后。更值得关注的是，公司年化收入突破 470 亿美元，说明 Claude 的商业化不是纸上谈兵。本轮融资由 Altimeter Capital、Dragoneer、Greenoaks、Sequoia Capital 领投，...
# AI # Go # LLM
阅读全文

Arm 开源 Metis：用 RAG + Agent 把漏洞挖掘的命中率拉到新水位

来源: oschina.net 44
Arm 把内部安全研究团队打磨多年的漏洞发现框架 Metis 完全开源了。这不是又一个"AI 扫描器"的 demo——它在 Arm 内部 130 多个软件项目里已经跑出真阳性率提升 10 倍、误报降低 50% 的硬数据，并计划 2026 年底前覆盖 Arm 全系产品。对于做安全审计、代码扫描的工程师来说，这个架构值得拆开看一遍。 静态分析工具（Cove...
# AI # LLM # 全栈
阅读全文