分类

文章

模型路由看似简单，真正困难的是把决策变成可控系统

来源: huggingface.co 26
模型路由的初版通常只需要一个条件判断：简单请求交给便宜模型，复杂请求交给能力更强的模型。但系统一旦进入生产环境，路由器就必须同时面对质量、延迟、成本、上下文长度、工具支持、配额和故障恢复。此时，问题已经不再是“选哪个模型”，而是“如何在不确定条件下执行可解释、可回退、可观测的决策”。 由于来源只提供了标题而没有具体实现细节，下面的策略和代码属于一种可实...
# AI # Hugging Face # LLM
阅读全文

用分层兴趣表示连接用户与广告实体：深层漏斗优化的工程思路

来源: engineering.fb.com 28
Meta 正在研究一种用于广告深层漏斗优化的上游表示层：在用户、广告主、商品和服务等广告实体之上学习统一嵌入，把用户推断出的兴趣与广告主提供的内容连接起来。这里的关键变化不是再增加一个独立排序模型，而是尝试提供一套可以被多个下游任务复用的兴趣表示。 广告系统中的兴趣通常不处于同一个粒度。一个用户可能对“运动”有长期偏好，近期在浏览“户外运动”，当前又集...
# Meta # 全栈 # 工程
阅读全文

HAMi 进入 CNCF 孵化阶段：GPU 共享与碎片治理走向云原生主航道

来源: cncf.io 31
CNCF 技术监督委员会（TOC）已投票接纳 HAMi 成为 CNCF 孵化项目。对 AI 基础设施团队来说，这不仅是一次项目状态升级，也意味着一个长期存在的问题获得了更明确的云原生治理路径：昂贵的 GPU 虽然已经被 Kubernetes 纳管，却仍可能因为分配粒度过大、工作负载需求不均而产生资源碎片。 传统 Kubernetes 调度通常把扩展资源...
# AI # CNCF # LLM
阅读全文

Agentic AI 从试点走向生产，网络为何成了关键控制面

来源: cloud.google.com 40
企业并不缺少 AI 试点，真正困难的是把试点变成可治理、可观测、可持续运行的生产系统。IDC 的 2026 AI in Networking Special Report Survey 指出，阻碍 AI 项目落地的核心问题越来越偏向基础设施：32.6% 的受访者提到安全顾虑，26.8% 提到自动化挑战，24.7% 则受限于人员时间和技能。 Agenti...
# AI # GCP # Go
阅读全文

让 AI 原型安全失败：YouTube 如何跨过生产验证鸿沟

来源: cloud.google.com 37
LLM 和编码智能体把“从空目录到可用演示”的时间压缩到了几小时，但企业真正昂贵的环节并不是生成代码，而是验证代码：原型需要接触真实数据、嵌入真实界面，还不能污染数据库、拖垮核心服务或把未经审查的依赖带进主干。来源材料引用的数据称，只有 5% 的 AI 原型最终进入生产。YouTube 的应对方式不是简单加快代码评审，而是建立一套与生产主线解耦、又足够...
# AI # GCP # Go
阅读全文

用 BigQuery 管理大规模 Gemini Enterprise：从日志汇聚到合规审计

来源: cloud.google.com 28
当 Gemini Enterprise 从小范围试用扩展到全公司时，管理难题会迅速变化：团队不再只关心“有多少人在用”，还需要回答哪些部门在创建自定义智能体、NotebookLM 是否真正进入工作流、企业数据被如何检索，以及某次安全拦截究竟由什么内容触发。 产品内置仪表板适合观察日常采用率和活跃用户，但组织级治理往往需要关联 HR、部门、成本中心和安全...
# AI # GCP # Go
阅读全文

用 AlloyDB AI、Gemini 与 RUM 补上 PostgreSQL 中日韩全文检索的分词缺口

来源: cloud.google.com 37
PostgreSQL 全文检索擅长处理由空格分隔的文本，但面对中文、日文、韩文等连续书写语言时，默认解析器可能把整句话当成一个词元。AlloyDB AI 提供了一条数据库内解决路径：先用 Gemini 做上下文相关的分词，再用 和 RUM 建立全文索引，并可进一步叠加 ScaNN 向量检索，形成一条 SQL 内的混合搜索链路。 PostgreSQL 需...
# AI # GCP # Go
阅读全文

1.21 亿条并发 gRPC 长连接背后：CloudFront 扩容不能忽略 DNS 路由

来源: aws.amazon.com 22
在体育赛事直播开始后的几秒内，1.21 亿台移动设备同时建立持久 gRPC 连接，这和普通 Web 流量不是同一种扩容问题。服务器数量、CloudFront 容量和网络带宽固然重要，但真正决定连接能否均匀落到后端的，可能是 DNS 记录背后的路由策略。策略选错后，所有客户端可能集中连接同一个源站入口，让已经准备好的其他容量闲置。 gRPC 遥测通常基于...
# AWS # 云平台 # 架构设计
阅读全文

PyTorch-Triton 3.7 插件扩展：让 TLX、自定义方言与编译 Pass 动态接入

来源: pytorch.org 28
PyTorch-Triton 3.7 引入了 Triton Plugin Extensions。这套机制的关键变化，不只是“可以安装插件”，而是上游 Triton 能够动态加载自定义编译 Pass、方言及其操作，以及 DSL 扩展。对于维护专用算子、硬件后端或内部编译优化的团队，这意味着扩展能力不必再长期依赖一套难以同步的 Triton 分支。 Tri...
# AI # PyTorch # 机器学习
阅读全文

Azure Databricks 的业务价值，关键在于原生集成与可量化交付

来源: azure.microsoft.com 29
企业采用数据与 AI 平台时，真正昂贵的往往不是计算资源，而是平台接入、身份打通、治理落地和团队迁移带来的隐性成本。Azure Databricks 的核心优势，是把团队熟悉的 Databricks 平台作为 Azure 原生服务交付，并与 Microsoft 共同工程化，使其更自然地融入企业现有的 Microsoft 工具、身份和治理体系。 这类优势...
# Azure # Go # 云平台
阅读全文