标签

Hugging Face

开放式 ASR 榜单迎来首个全球南方语言：评测覆盖开始扩展

来源: huggingface.co 39
开放式自动语音识别（ASR）榜单新增了首个来自全球南方的语言。这一变化的意义不只在于榜单多了一项测试，而在于语音模型的公开比较开始触及过去经常被忽略的语言、地区和使用场景。 ASR 模型的排名通常依赖固定的数据集、统一的转写规范和可复现的评测脚本。这样的设计有助于横向比较，但也会带来一个明显边界：如果测试语言长期集中在资源丰富的市场，榜单反映的就主要是...
# AI # Hugging Face # LLM
阅读全文

用 Sentence Transformers 训练多向量嵌入模型：从单向量检索走向 Late Interaction

来源: huggingface.co 43
传统文本检索通常把一段查询和一篇文档各压缩成一个向量，再用余弦相似度或点积完成召回。这种方式索引轻巧、吞吐稳定，但也会丢掉词级匹配信号。多向量嵌入模型让一个文本输出一组向量，并在检索阶段执行更细粒度的匹配，因此适合术语密集、实体较多或长文档检索场景。 Sentence Transformers 的训练生态为这一类模型提供了熟悉的基础设施：Transfo...
# AI # Hugging Face # LLM
阅读全文

Granite 4.2 大语言模型是如何构建的：从训练数据到推理部署

来源: huggingface.co 29
大语言模型的能力并不是由某一个神秘组件单独决定的。模型架构、预训练数据、训练配方、指令微调、评测体系和部署策略共同构成了最终产品。仅从“Granite 4.2 LLMs: How They're Built”这个主题出发，可以把 Granite 4.2 理解为一套值得拆解的工程系统，而不是一个孤立的模型权重文件。 本文不臆测未提供的具体层数、参数量或训...
# AI # Hugging Face # LLM
阅读全文

量化感知修复：一款 4-bit 压缩模型为何能超过全精度原版

来源: huggingface.co 45
把模型压缩到 4-bit，通常意味着更小的显存占用、更快的推理和更低的部署成本，但也常伴随精度损失。这个结果提出了一个更有意思的方向：量化不一定只是部署阶段的妥协，也可以成为训练和修复模型行为的一部分。经过量化感知修复后，压缩模型甚至可能超过它的全精度原始版本。 全精度模型通常使用 FP16、BF16 或 FP32 保存参数，而 4-bit 量化把连续...
# AI # Hugging Face # LLM
阅读全文

用 Gradio 把 AI 工作流接线、运行并部署

来源: huggingface.co 39
AI 应用的难点常常不在单次模型调用，而在于把输入、处理步骤、人工确认、结果展示和部署入口连接成可用流程。Gradio 适合承担这层“工作流界面”：开发者可以快速把 Python 函数接到交互控件上，在本地运行后再发布为可访问的服务。 一个可维护的 AI 工作流通常至少包含几类节点： 输入节点：文本、文件、图像、配置参数或历史上下文。 处理节点：清洗数...
# AI # Hugging Face # LLM
阅读全文

LFM2.5-DSpark 推理性能实测：如何理解最高 3.2 倍加速

来源: huggingface.co 38
LFM2.5-DSpark 的核心看点是推理速度：来源标题称其最高可实现 3.2 倍加速。对在线服务来说，这不只是一个漂亮的数字，更可能影响单机吞吐、接口延迟和部署成本。不过，“最高 3.2 倍”通常对应特定硬件、模型配置、输入长度和批处理策略，不能直接当作所有场景下的固定收益。 推理性能至少要拆成三个指标：首 token 延迟（TTFT）、生成速度（...
# AI # Hugging Face # LLM
阅读全文

LFM2.5 Q4_0 检查点：量化感知蒸馏如何改善低比特模型

来源: huggingface.co 43
LFM2.5 的 Q4_0 检查点采用了量化感知蒸馏这一思路。值得关注的不只是“模型被压缩到 4 位”，而是蒸馏过程已经把量化误差纳入训练目标，让学生模型在学习教师模型行为时，同时适应低比特权重带来的表达限制。 来源摘要没有给出具体模型尺寸、文件格式、运行时兼容性或基准数据，因此下面不会假定某个检查点一定支持特定框架。示例以常见的 GGUF 与 工作流...
# AI # Hugging Face # LLM
阅读全文

你的 Agent 到底需要多少内存：从上下文、工具输出到并发任务的预算方法

来源: huggingface.co 34
当一个 Agent 从简单的问答脚本变成能够调用工具、保留历史、并行执行任务的服务时，“需要多少内存”就不再等于模型上下文窗口有多大。真正占用内存的，通常还包括会话历史、工具返回值、中间状态、缓存，以及同时运行的任务数量。 这类问题适合用预算来回答，而不是凭经验猜一个机器规格。可以先把 Agent 的运行时内存拆开，再根据单个请求和并发数计算总需求。 ...
# AI # Hugging Face # LLM
阅读全文

用 Sentence Transformers 实现多向量晚交互检索：从 MaxSim 到两阶段召回

来源: huggingface.co 38
传统文本向量模型把整段文本压缩成一个固定长度的向量，检索时只需计算一次向量相似度。多向量模型则保留多个词元或片段级向量，把查询与文档的细粒度匹配推迟到检索阶段完成，这种方法通常称为晚交互（Late Interaction）。 来源摘要未提供具体 API 和模型信息，因此下面不假定某个专用模型接口，而是基于 Sentence Transformers 的...
# AI # Hugging Face # LLM
阅读全文

同一套集群，利用率多出 33 个百分点：调度顺序为何如此关键

来源: huggingface.co 31
硬件没有扩容，工作负载也没有缩水，集群利用率却提高了 33 个百分点。来源标题给出的关键线索只有一个：变化发生在任务处理顺序上。由于摘要未提供具体调度器、负载类型和利用率口径，本文不推断原案例的实现细节，而是拆解这种结果背后的通用机制，并给出一个可以运行的装箱模拟。 集群调度可以看成带约束的装箱问题：节点是箱子，Pod、作业或虚拟机是待装入的物品。真实...
# AI # Hugging Face # LLM
阅读全文