标签

全栈

把系统提示词压进少量 Token:理解 Shopify 的 Gisting 技术

来源: infoq.com 48
在大模型应用中,系统提示词往往会随着规则、工具说明、安全策略和业务上下文不断增长。即使这些内容在每次请求中完全相同,模型仍然需要反复处理它们。Shopify 工程团队介绍的 gisting 技术提供了另一条路径:将长提示词压缩到一小组经过学习的“gist token”中,以减少推理阶段的输入长度,提升吞吐量并降低成本。 它不是简单地把文字改写得更短,而...

OwnCode 的安全优先实践:精简提示词、降低 Token 消耗并脱敏敏感信息

来源: oschina.net 44
AI 编程工具的体验,既取决于模型能力,也取决于发送给模型的上下文质量。OwnCode 此次优化聚焦在三个方面:仔细核对并精简 AI 生成的提示词,分析和优化完整交互流程,以及调整提示词结构,让模型更准确地理解开发者的需求。 对于实际项目来说,效率之外还有一个容易被忽略的问题:代码上下文中可能包含数据库账号、密码、API Key、云平台密钥等敏感信息。...

用 Amazon Bedrock AgentCore 落地 AI 驱动开发生命周期:从 SQL 建模到多智能体代码安全分析

来源: aws.amazon.com 36
AI 驱动开发生命周期(AI-DLC)的难点,通常不在于让模型生成一段代码,而在于把一个模糊想法稳定地推进到可运行、可验证、可维护的实现。Amazon Bedrock AgentCore、Kiro 和 Claude Code 提供了一条适合工程团队的实践路径:让 AI 参与需求拆解、方案设计、代码构建和验证,同时保留明确的上下文、工具边界与人工审查点。...

把 Backstage 变成 AI 编码代理的上下文入口:减少 90% Token 消耗的工程思路

来源: engineering.atspotify.com 32
AI 编码代理消耗的 Token,并不全花在推理上。它经常需要反复扫描仓库、搜索服务名称、读取配置、定位负责人,再从大量输出里拼出真正有用的上下文。来源案例指出,将 Spotify Backstage Portal 作为统一入口后,Claude Code 的 Token 用量减少了 90%。这个数字来自特定环境,未必能直接复现,但背后的优化方向很明确:...

Spotify Portal 如何把 Claude Code 的 Token 消耗降低 90%:别让上下文浪费在 I/O 上

来源: engineering.atspotify.com 44
AI 编程代理看起来一直在“思考”,但实际工作中,大量 Token 消耗在读取文件、扫描目录、查看日志和反复获取相同上下文上。来源文章报告称,Spotify Portal 将 Claude Code 的 Token 使用量降低了 90%;其关键观察是:代理的大部分工作不是推理,而是 I/O。 这个数字是作者在特定环境中的结果,不能直接视为所有项目的通用...

在 ZippyDB 前增加统一代理:ZGateway 带来的架构取舍

来源: engineering.fb.com 38
Meta 在其广泛使用的键值存储 ZippyDB 前部署了 ZGateway,用统一入口承接原本分散的访问流量。代理增加了一次网络跳转,却也提供了实施准入控制、负载均衡、跨地域容灾和统一运维的关键位置。 这类改造的价值不只是“隐藏后端地址”。真正重要的是把客户端难以一致实现的流量治理能力,从众多业务进程集中到一个可独立演进的数据面。 客户端直连存储节点...

Google Data Cloud 更新解读:流式有状态计算、开放湖仓与 AI 数据代理

来源: cloud.google.com 42
Google Data Cloud 最近一轮更新并不是零散地增加几个控制台按钮,而是在打通一条更完整的数据链路:Kafka 负责产生实时事件,BigQuery 连续查询直接执行有状态计算,Dataflow 以更低风险更新运行中的管道,Lakehouse 托管表让多个引擎共享 Iceberg 数据,最终再由 Gemini、Looker 和 MCP 把经过...

用 Azure Arc 与 Azure Virtual Desktop 扩展全球混合安全运营

来源: azure.microsoft.com 45
物理安全系统很少完全运行在云端。门禁、视频监控、告警和现场服务器通常分布在办公室、园区与边缘机房中,而负责维护这些系统的工程团队又需要跨区域协作。微软物理安全工程团队的实践表明,Azure Arc 与 Azure Virtual Desktop(AVD)可以分别解决两个关键问题:让分散资源进入统一管理平面,并为运维人员提供标准化、可控的工作环境。 Az...

灵界 OS v3.1.3:敏感操作统一回归锁屏验证

来源: oschina.net 36
灵界 OS v3.1.3 现已发布。本次更新聚焦系统安全验证,修复了设置中部分敏感操作未正确校验手势或密码的问题。升级后,存储管理、恢复出厂设置等操作都需要先通过锁屏验证,才能继续执行。 此前,设置中的部分高风险功能没有完整执行锁屏验证。用户进入相关页面后,系统可能未正确要求输入手势或密码,这会让已经获得设备操作权限的人更容易执行影响数据和系统状态的操...