2026-09-04
来源: infoq.com
41
LLM 应用的系统提示正在变得越来越长：行为规则、品牌语气、安全边界、工具说明和输出格式常常占据数千个 token。Shopify 工程团队介绍的 gisting 技术，试图把这段固定但昂贵的上下文压缩成少量经过学习的“gist token”，从而减少推理时需要处理的输入，提高吞吐量并降低成本。 常规提示压缩通常生成一段更短的自然语言，例如把十页规则改...
2026-09-04
来源: infoq.com
41
在大模型应用中，系统提示词往往会随着规则、工具说明、安全策略和业务上下文不断增长。即使这些内容在每次请求中完全相同，模型仍然需要反复处理它们。Shopify 工程团队介绍的 gisting 技术提供了另一条路径：将长提示词压缩到一小组经过学习的“gist token”中，以减少推理阶段的输入长度，提升吞吐量并降低成本。 它不是简单地把文字改写得更短，而...
2026-09-03
来源: infoq.com
42
pnpm 12 将包管理器的核心实现迁移到了原生 Rust，同时保持与 pnpm 11 的命令、参数和格式兼容。对开发者来说，这意味着升级后不必重写日常脚本，却有机会获得更快的启动速度和文件系统操作，尤其是在已有缓存可以复用时。 性能提升并非没有代价：原生实现可能带来更大的构建产物。因此，升级时需要同时关注安装耗时、CI 缓存命中率、磁盘占用和团队工具...
2026-09-03
来源: infoq.com
37
可观测性常常有一个现实矛盾：业务系统越需要指标，埋点代码越可能出现在最热的执行路径上；而指标库为了并发安全引入的原子操作、锁和内存访问，又会反过来改变系统性能。Brian Martin 在演讲中讨论了如何构建低开销、可以放心启用的 instrumentation，让架构师和工程团队同时拥有系统可见性与可接受的运行成本。 一次看似简单的计数操作，可能包含...
2026-09-03
来源: infoq.com
45
企业 PDF 很少只是连续文字：表格、扫描页、双栏排版、图表和脚注经常同时出现。Cohere 发布的 Parse 5 面向这类复杂场景，使用一个 23 亿参数的多模态基础模型，将视觉丰富的 PDF 转换为 Markdown，并同时返回内容对应的 bounding box 坐标。 这意味着文档解析的结果不再只有一段文本，还可以回答“这条数据在原始页面的什...
2026-09-02
来源: infoq.com
36
在外卖和即时零售业务中，获客成本并不应该只和“首单金额”比较。一个新用户未来会下多少单、是否会使用 Instamart、能持续贡献多少收入，才决定一次广告转化是否真正值得。Swiggy 为 Food 和 Instamart 构建了内部预测客户终身价值（predicted Customer Lifetime Value，pLTV）模型，使用 350 多个...
2026-09-02
来源: infoq.com
35
客户终身价值（Customer Lifetime Value，LTV）决定了获客广告到底应该为一个新用户出价多少。Swiggy 的实践重点不只是训练一个更大的模型，而是把下单前可获得的 350 多个特征、Food 与 Instamart 两类业务，以及订单数这一辅助任务组合起来，构建内部预测 LTV（pLTV）模型，并将信号用于 Google Targ...
2026-09-02
来源: infoq.com
36
把提示词写得更精巧，并不能自动得到生产级 AI 系统。真实请求往往携带多轮对话、用户偏好、检索结果、工具状态和安全规则；与此同时，系统还要面对 token 上限、上下文失真、API 成本增长与严格的延迟目标。 因此，工程重点需要从“怎样写一句 prompt”转向“怎样在每次调用前组装、压缩、排序和复用上下文”。这就是上下文工程：把模型输入视为一条有预算...
2026-09-02
来源: infoq.com
28
Cloudflare 为 OAuth 增加了“可选 scope”能力：客户端开发者可以标记哪些权限允许用户在授权页面主动取消。这个变化针对的是一个越来越常见的问题，尤其是在 MCP server 和 AI agent 场景中：Agent 可能需要请求它潜在会使用的全部权限，但用户并不一定愿意一次性授予所有能力。 传统 OAuth 授权通常把 scope...
2026-09-02
来源: infoq.com
42
Cloudflare 新增了可选 OAuth scopes：客户端所有者可以明确标记哪些权限允许用户在授权页面取消选择。这个变化主要针对 MCP 服务器和代理场景，因为代理通常需要请求它可能执行的全部操作，最终形成一组权限的并集；用户却未必愿意一次性授予全部能力。 传统 OAuth 授权流程通常围绕一组 scopes 展开。客户端请求 、 和 ，授权服...