标签

LLM

Cloud Run 多区域高可用升级：用就绪探针实现秒级自动故障转移

来源: cloud.google.com 44
Cloud Run 的多区域部署正在从“复制几份服务”走向真正可自动恢复的高可用架构。新的就绪探针与服务健康状态能力，可以把容器实例的检查结果汇总到区域级服务健康状态，并通过 Serverless NEG 暴露给应用负载均衡器。当某个区域无法正常提供服务时，负载均衡器可以在数秒内停止向该区域发送流量。 这项变化解决了一个关键问题：部署到多个区域并不等于...
# AI # GCP # Go
阅读全文

Cosmos 3 Edge：把世界模型推向边缘设备前，先解决延迟、资源与接口问题

来源: huggingface.co 46
从标题可以确认，Cosmos 3 Edge 的重点是将 Cosmos 3 能力带到边缘侧。不过来源摘要没有提供模型规格、硬件要求、授权方式或正式 API，因此不能据此断言它支持哪些设备或推理框架。对准备评估这类边缘模型的团队来说，真正需要回答的是：模型能否在目标设备上持续运行，端到端延迟是否可控，以及升级失败时能否快速回滚。 云端推理通常可以通过增加 ...
# AI # Hugging Face # LLM
阅读全文

一次 13 小时生产事故之后：如何用 Docker 沙箱约束 AI 编码代理

来源: docker.com 48
AI 编码代理不再只是补全几行代码。它可以打开终端、修改文件、执行部署命令，甚至使用云端凭据。来源案例中的代理误删了生产环境，最终造成长达 13 小时的中断。真正值得关注的并不是代理为什么会犯错，而是一个更基础的工程问题：为什么开发工具拥有足以摧毁生产环境的权限？ Docker 沙箱的价值正在这里。隔离执行环境、限定挂载目录，再为每次任务分配作用域明确...
# AI # Docker # LLM
阅读全文

从听懂到做成：如何选择 InfoQ 八月的三类技术认证训练营

来源: infoq.com 52
InfoQ 已开放三期八月开班的在线认证训练营，周期均为五周。三个方向分别聚焦架构、工程领导力，以及 AI 安全与隐私，并由 Luca Mezzalira、Michelle Brush 和 Katharine Jarmul 三位资深实践者带领。与单纯观看演讲不同，这些训练营强调把 QCon 演讲中的框架带回参与者自己的工作场景，在连续数周内完成应用和验...
# AI # InfoQ # LLM
阅读全文

评测 LLM 推理服务时，为什么有效吞吐量比吞吐量更重要

来源: cncf.io 39
评测大语言模型服务时，最常见的数字是吞吐量：系统每秒处理多少请求，或者每秒生成多少 token。这个指标容易采集，也方便横向比较，但它可能掩盖真正影响用户体验的问题。一个服务即使吞吐量很高，如果大量请求超时、首 token 等待过久，或者在高负载下频繁失败，这些工作对用户并没有实际价值。 因此，生产环境更值得关注的是 goodput（有效吞吐量）：在给...
# AI # CNCF # Go
阅读全文

AWS Loom：用身份委托、配置部署与强制标签治理企业级 AI Agent

来源: infoq.com 53
AI Agent 从单个实验走向企业级部署后，难点往往不再是模型能否调用工具，而是能否回答三个问题：这次操作代表谁、经过了哪些委托、最终由谁承担责任。AWS 发布的开源参考平台 Loom，围绕这些治理问题给出了一套可研究和改造的实现：它基于 Strands Agents 与 Amazon Bedrock AgentCore Runtime，通过 RFC...
# AI # AWS # Go
阅读全文

长时程 AI 模型上线后，安全边界该如何重新设计

来源: openai.com 45
当 AI 模型从“回答一次问题”转向持续数小时甚至更久地规划、调用工具和修正行动时，安全工程的对象也发生了变化。OpenAI 在长期运行模型的部署经验中强调：更长的任务周期会带来新的安全风险，真实运行中暴露的失败需要通过迭代部署转化为更可靠的防护措施。 这意味着，团队不能只检查模型的单次输出是否合规，还要控制它在整个任务生命周期里能做什么、做了多少次，...
# AI # LLM # OpenAI
阅读全文

迁移到 pg_hardstorage，而不改变 PostgreSQL 恢复策略

来源: postgr.es 58
更换 PostgreSQL 备份工具，真正困难的部分通常不是安装新二进制文件，而是如何处理已经运行多年的备份仓库、保留策略、恢复流程、值班手册和合规要求。迁移到 pg_hardstorage 的关键思路，是把它当作一次渐进式运维转换，而不是一次仓库重写或“一键切换”。 迁移期间，现有备份仓库继续保留，新的备份则写入 pg_hardstorage 仓库。...
# AI # Go # LLM
阅读全文