标签

InfoQ

LiteRT-LM 搭上 Gemma 4 多 token 预测,端侧推理提速 2.2 倍

来源: infoq.com 47
端侧跑大模型,瓶颈从来不是模型有多聪明,而是 token 一个一个往外蹦的速度够不够用。Google 最新发布的 LiteRT-LM 把 Gemma 4 的 Multi-Token Prediction(MTP)drafter 原生接进推理引擎,实测推理速度最高提升 2.2 倍——不是靠砍精度,而是靠更聪明的投机解码策略。同时,框架的 API 版图也在...

TypeORM 1.0 正式发布:近十年等待后的现代化重塑

来源: infoq.com 49
从 2016 年诞生到 2025 年终于推出 1.0,TypeORM 走了一条漫长的路。这个被无数 NestJS 项目默认绑定的 ORM,长期停留在 0.x 版本,维护节奏一度让人担忧。1.0 的到来不只是版本号的跃迁——它意味着平台要求的现代化、废弃 API 的清理、安全与迁移流程的加固,以及社区维护信心的重建。 TypeORM 早期采用"0.x 永...

Uber 如何用 250ms 批量窗口让账本系统扛住每秒 30+ 次热账户更新

来源: infoq.com 62
金融账本系统有一个经典难题:某些"热账户"会被大量交易同时写入。一个高频乘客的账户在一秒内可能产生多笔扣款、退款、奖励入账,如果每笔交易都争抢同一行记录的锁,吞吐量很快就会塌方。Uber 在分布式账本基础设施中碰到了这个问题——原来多小时的批处理管道,他们用 250ms 批量窗口 + Redis 协调 + 乐观原子更新这套组合拳,压到了分钟级完成,单账...

架构变更案例:让决策不再只记录"当时怎么想的"

来源: infoq.com 43
架构决策记录(ADR)已经成为很多团队的标配——选了什么技术、为什么选、谁拍板,一条条写清楚。但 ADR 有一个隐含的盲区:它只记录决策那一刻的状态,却很少追问"这个决定以后还能改吗?改起来要花多大代价?" Pierre Pureur 和 Kurt Bittner 提出的 架构变更案例(Architectural Change Cases) 正是针对这...

AWS 用随机图理论干掉胖树网络:路由器砍掉 69%,吞吐提升 33%

来源: infoq.com 40
数据中心网络架构十几年来几乎没变过——胖树(fat-tree)是默认选项。AWS 最近公开了一项已经落地的大改动:他们用基于准随机图理论的扁平网络架构替代了胖树,新架构叫 Resilient Network Graphs,已经成为大多数新建数据中心的默认方案。路由器数量直接砍掉 69%,吞吐量提升 33%,网络功耗降低 40%。这不是论文里的设想,是已...

Next.js 16.2:开发启动提速 4 倍,渲染快 60%,还给 AI Agent 开了新门

来源: infoq.com 48
Vercel 刚发布 Next.js 16.2,三个数字直接拉满注意力:开发服务器启动速度提升 400%,页面渲染快了 60%,以及一套面向 AI Agent 的开发工具链。如果你还在用 Next.js 15,这次升级的性价比很高——迁移路径已经铺好,门槛只是 Node.js 20.9 和 TypeScript 5.1。 400% 的启动提速不是魔法,...

Google 全球服务舰队上的大规模 A/B 实验系统:如何让分布式实验不再打架

来源: infoq.com 41
Google 每天同时跑着成千上万个 A/B 实验——搜索、YouTube、Maps、Ads,每个产品都有自己的服务集群,每个集群又拆成几十个微服务。实验多了,问题就来了:用户在搜索页被分到实验 A,跳到结果页却被分到实验 B;曝光日志漏记了一条,结论就偏了;两个实验同时改同一个按钮的颜色,数据谁也说不清。 最近 Google 公开了它跨舰队的大规模 ...

当 tmpfs 遇上硬亲和力:Spark 在 Kubernetes 上的 OOM 连环杀

来源: infoq.com 32
把 Spark 作业从传统集群搬上 Kubernetes,看起来只是换了个运行环境——实际上底层资源模型的差异远比想象中大。Pranav Bhasker 在将 Spark 管道迁移到 Azure Kubernetes Service(AKS)后,遇到了一种标准诊断手段几乎无法捕捉的 OOM 故障:作业反复被杀,日志里没有明显的内存溢出线索,Spark ...

Node.js 一年一个大版本:从 v27 起,所有版本都是 LTS

来源: infoq.com 39
从 2026 年 10 月的 Node 27 开始,Node.js 将告别"半年一个大版本、偶数 LTS、奇数实验"的双轨节奏,改为每年只发布一个主要版本——并且每个版本都进入长期支持。同时新增 Alpha 通道,供早期特性尝鲜。这一调整直指维护成本和用户实际节奏之间的长期矛盾。 过去多年,Node.js 每年推出两个大版本:偶数版本(如 18、20、...