生成式 AI 应用最危险的阶段,往往不是模型完全不可用,而是演示效果不错、上线后却无法稳定回答真实问题。传统软件可以用确定性断言判断对错,LLM 输出则同时受到提示词、模型版本、采样参数、上下文和外部工具影响。要控制这种不确定性,评测不能等到发布前才补做,而应成为需求、开发、发布和线上监控共同依赖的工程基础。 由于来源摘要未提供具体实验数据,下面不把任...
生成式 AI 改变了云成本的增长方式:一个看似简单的提示词,背后可能触发长上下文推理、Agent 工具调用、容器扩容或大规模查询。请求数相同,并不意味着计算量和账单相同,因此仅观察 QPS、调用次数和月底预算告警,已经不足以控制 AI 工作负载的财务风险。 Google Cloud 在 Billing Console 中增加了两类原生能力:AI 服务早...
AI 正在快速降低代码生成的成本,但软件工程并没有因此变成“描述需求,然后等待答案”。真正困难的部分仍然存在:判断应该解决什么、识别系统中的关键风险、理解生成代码的行为,以及确认最终结果是否改善了客户体验。 Ben Greene 结合创业经历提出了一组适应这种变化的工程思维:从简单方案开始、保持对代码的理解、优先攻击困难问题,并用客户影响衡量工作。在代...