标签

InfoQ

本地优先推理:让80%的文档零API成本完成提取

来源:infoq.com 18
处理4700份工程图纸PDF,API费用砍掉75%,处理时间缩短55%——这不是靠更便宜的模型,而是靠一个更聪明的路由策略:先把能确定性提取的文档留在本地处理,只把边缘情况交给云端大模型。Obinna Iheanachor 把这个实践总结为"Local-First AI Inference"架构模式,核心思路简单但效果显著。 文档处理场景里,大量内容是...

用标准堆出"无聊"系统:从 Java EE 到 Quarkus 再到 AI 时代的生存策略

来源:infoq.com 18
Adam Bien 在企业级 Java 圈里是个异类——他主张零依赖,坚持只用标准,并且把这种做法带来的系统称为"boring"(无聊的)。但这里的"无聊"不是贬义,而是指系统稳定、可预测、不需要天天救火。更关键的是,他靠这套策略让二十年前写的代码一路跑进了云时代,甚至天然适配今天的 AI-Native 场景。 这听起来像是在鼓吹保守主义,但背后有非常...

Netflix 用一张图管住上千个模型:Model Lifecycle Graph 实践解析

来源:infoq.com 21
当你的 ML 平台上跑着几百个模型、上千个特征、几十条数据管线时,一个最朴素的问题会变得极其棘手:这个模型用了哪份数据?那个特征被谁依赖?改了这条管线会炸掉谁? Netflix 的回答是——把一切画成一张图。 Netflix 最近公开了他们内部称为 Model Lifecycle Graph 的架构方案。核心思路并不复杂:用有向图把 dataset、f...