标签

LLM

AI 智能体时代的动态容量管理:预订、回退与资源切片

来源: cloud.google.com 46
企业开始把大量 AI 智能体接入业务系统,基础设施面对的已不只是推理流量增长。智能体会持续调用模型、数据库和内部应用,负载既消耗 GPU、TPU 等稀缺资源,又具有明显的突发性。若仍把应用绑定到单一机型、单一区域或整块加速卡,结果通常是两个极端:高峰期申请不到容量,低谷期则有大量资源闲置。 动态容量管理的核心不是无限扩容,而是把需求分成可预测与不可预测...

AI Agent 时代的 FinOps:让创新速度和成本边界同时可控

来源: cloud.google.com 34
AI Agent 开始承担持续运行、批量执行和多步骤协作的任务后,企业面对的成本问题已经不同于传统的软件订阅。业务用户可能每天稳定使用生产力工具,开发团队却可能在发布前集中运行大量代码 Agent,后台 Agent 还会在夜间持续消耗模型推理资源。只按“每个用户多少钱”来管理,往往看不见真实的运行成本,也很难在创新和预算之间取得平衡。 面向 Gemin...

PostgreSQL 18 的 UUIDv7:为什么插入性能最高提升 23 倍

来源: postgr.es 35
UUID 作为主键很方便,但不同 UUID 版本对 PostgreSQL 插入性能的影响并不相同。一次真实迁移显示,在 PostgreSQL 18.4 上将部分表的主键默认值从 UUIDv1 或 UUIDv4 切换到 UUIDv7 后,某些高频多行 INSERT 的平均执行时间从 0.7ms 降到 0.03ms,提升约 23 倍。 这不是所有表都会获得...

让 LLM 参与值班:从日志放大器到可控的故障响应助手

来源: infoq.com 27
大语言模型已经能在数秒内阅读大量日志、告警和链路追踪数据,但这不等于它已经具备独立处理生产事故的能力。将 LLM 引入 incident response 的关键,不是让它替值班工程师“修好一切”,而是让它承担信息密集、重复且容易遗漏的观察工作,同时把因果判断、变更决策和责任边界留在人类手中。 一次事故往往不是没有数据,而是数据太多:多个服务的错误日志...

ChatGPT for Teachers 扩展至 55 个美国学区:教育 AI 从试点走向规模化支持

来源: openai.com 31
ChatGPT for Teachers 正扩展到 55 个美国学校系统,为超过 10 万名教育工作者和行政人员带来更安全的 AI 工具、培训与支持。这个变化的重点不只是增加账号数量,而是把 AI 使用从个别教师的自发尝试,推进到学校系统可以管理、培训和持续评估的工作流程中。 当 AI 只由少数教师自行尝试时,学校通常很难统一回答几个实际问题:哪些数据...

让学习不止发生在课堂:AI 如何构建持续学习支持

来源: openai.com 37
学习的时间边界正在变化。OpenAI 的最新报告关注学生和教育工作者如何使用 ChatGPT,让学习支持从课堂延伸到课后、从一次性答疑变成持续的理解、练习与反馈。 这并不意味着 AI 要替代教师,也不意味着学生只需要向模型索要答案。更有价值的变化是:AI 可以在学生遇到问题的当下提供解释,在教师备课和设计练习时提供协助,并把零散的学习行为连接成更连续的...

从零开始构建 AI Agent:用一个小型项目理解控制、协作与记忆

来源: cloud.google.com 24
“AI Agent”听起来像一个需要机器学习背景的复杂系统,但真正开始动手时,你会发现它更接近一个能够观察环境、做出决策、调用工具并保存状态的软件程序。学习这类系统最有效的方式不是先背概念,而是从一个可运行的小项目开始。 Agent Valley 采用了这种实践路线:学习者在一个低多边形虚拟世界中操作自己的 AI 伙伴,同时通过 Runtime Ins...

让 AI Agent 的执行可恢复、可验证:Diagrid Catalyst 2.0 的架构启示

来源: infoq.com 38
AI Agent 真正进入生产环境后,难点往往不在于能否调用模型,而在于一次跨越多个工具、服务和步骤的任务,能否在进程崩溃、网络超时或人工介入后继续执行,并且让团队确认这段执行历史没有被悄悄改写。Diagrid Catalyst 2.0 的重点,正是把 Dapr 提供的恢复能力、签名工作流历史和执行证明引入 Agent 工作流。 这类能力改变了架构讨论...

让 AI Agent 的执行可恢复、可验证:解读 Diagrid Catalyst 2.0

来源: infoq.com 39
AI Agent 真正进入生产环境后,难点往往不在于能否调用模型,而在于一次执行失败之后,系统能否从正确的位置恢复,并且让团队确认这次执行确实按预期发生过。Diagrid Catalyst 2.0 围绕这一问题,引入了基于 Dapr 的恢复能力、签名的工作流历史,以及执行证明机制,试图为 Agent 工作流补上耐久性与可验证性。 这类能力值得关注,但不...

让每个人都能构建产品:loveholidays 如何借助 Codex 加速软件开发

来源: openai.com 47
软件开发不再只是工程团队的专属工作。来源摘要显示,loveholidays 正在使用 OpenAI Codex,让业务中的更多人可以参与构建软件,把想法更快变成产品。 这类变化的重点,不是让每个人都立刻成为专业程序员,而是降低从“我有一个想法”到“我能验证它”的门槛。产品、运营、市场和客服团队可以更早参与,通过自然语言描述需求、生成原型、修改代码,再与...