标签

LLM

用 Sentence Transformers 训练多向量嵌入模型:从单向量检索走向 Late Interaction

来源: huggingface.co 44
传统文本检索通常把一段查询和一篇文档各压缩成一个向量,再用余弦相似度或点积完成召回。这种方式索引轻巧、吞吐稳定,但也会丢掉词级匹配信号。多向量嵌入模型让一个文本输出一组向量,并在检索阶段执行更细粒度的匹配,因此适合术语密集、实体较多或长文档检索场景。 Sentence Transformers 的训练生态为这一类模型提供了熟悉的基础设施:Transfo...

Rust 为关键维护工作设立首批 Maintainers in Residence

来源: blog.rust-lang.org 40
Rust 项目宣布了首批 Maintainers in Residence(MiR)和 Maintainer Grant 获得者。六位长期贡献者将在未来至少 12 个月获得稳定资助,专注于 rustup、标准库、编译器、Clippy 和 rustdoc 等关键项目的维护工作。 这项计划的意义不只是“给开源贡献者发工资”。它试图解决一个长期存在的问题:用...

Kubernetes v1.37 Garhwal:扩缩容、控制面韧性与 AI 调度进入新阶段

来源: kubernetes.io 25
Kubernetes v1.37 代号 Garhwal,包含 67 项增强:16 项进入 Stable、23 项进入 Beta、27 项进入 Alpha,另有 1 项弃用或移除。相比单纯增加 API,这一版本更值得关注的是几条清晰的工程主线:控制面在大规模集群中更能承受启动和恢复压力,HPA 可以按外部需求缩容到零,工作负载感知调度开始服务 AI/HP...

Hugging Face 安全事件之后:如何加固 AI 模型供应链

来源: openai.com 43
OpenAI 对 Hugging Face 安全事件的调查,将一个容易被忽略的问题重新摆到工程团队面前:模型文件不是普通的静态资源。它们有来源、有版本、有加载逻辑,还会直接影响线上系统的行为。模型安全因此不能只靠下载前的信任判断,而要覆盖制品验证、部署门禁、运行监控和对齐评估。 来源摘要没有披露攻击路径、受影响范围或具体根因,因此本文不推测事件细节,而...

AWS FSx 上的 PostgreSQL 复制延迟:别忽略 EC2 单流带宽上限

来源: percona.com 51
一次 PostgreSQL 主备复制延迟问题,表面上看像是存储系统性能不足:主库不断产生 WAL,备用库却追不上。实际排查时,存储层、网络路径和 EC2 实例本身的带宽行为都可能参与其中。尤其当数据库使用挂载在 EC2 上的 Amazon FSx 文件系统时,单个 TCP 流的吞吐上限可能成为隐藏瓶颈。 典型架构是:PostgreSQL 主库和备用库运...

让 AI Agent 在 IDE 内串起告警、链路与日志:Amazon OpenSearch MCP Apps 实战思路

来源: aws.amazon.com 37
排查生产故障时,真正拖慢节奏的往往不是缺少数据,而是在告警面板、Trace 页面、日志检索页和 IDE 之间反复跳转。Amazon OpenSearch Service 对 MCP Apps 的支持,试图把这条链路收进一次 Agent 对话:Agent 除了输出文字结论,还能返回可交互的可视化内容,让开发者在 IDE 中逐步核验告警、调用链、日志和根因...

把 gVisor 变成 Ray 集群里的沙箱原语:为强化学习安全执行动态代码

来源: cloud.google.com 44
强化学习和后训练工作流正在大量采用 Ray:训练器、推理引擎、rollout worker、数据管道和评估任务可以由同一个分布式运行时统一调度。但随着 agentic workflow 变得更复杂,模型生成的代码、工具调用和多轮交互也带来了新的问题:如何在不暴露宿主机的前提下,大规模、低延迟地执行不可信代码? Google 与 Anyscale 正在推...

Granite 4.2 大语言模型是如何构建的:从训练数据到推理部署

来源: huggingface.co 31
大语言模型的能力并不是由某一个神秘组件单独决定的。模型架构、预训练数据、训练配方、指令微调、评测体系和部署策略共同构成了最终产品。仅从“Granite 4.2 LLMs: How They're Built”这个主题出发,可以把 Granite 4.2 理解为一套值得拆解的工程系统,而不是一个孤立的模型权重文件。 本文不臆测未提供的具体层数、参数量或训...

告别背命令:用 Pragmatic AI Shell 把自然语言带进终端

来源: oschina.net 32
日常运维里,真正耗时的往往不是执行命令,而是回忆参数、拼接管道,以及确认自己没有漏掉关键条件。Pragmatic AI Shell(smartcli)试图把终端操作改成一种更直接的交互:用户描述目标,工具生成候选命令,经过安全过滤和人工确认后再执行,并保留审计记录。 排查一个端口时,经验丰富的工程师可能会组合 、、 和 ;但问题本身通常可以用一句话表达...