标签

LLM

用 eBPF 给 Kubernetes 中的 AI 调用加一层无侵入控制面

来源: infoq.com 41
当 AI 生成的代码直接进入生产环境，风险不只来自模型回答错误，也来自那些没有明确所有者、没有经过审查，却已经在运行的调用路径。Dan Finneran 的分享讨论了一个很有价值的方向：利用 eBPF 在 Kubernetes 节点的内核层观察和控制 AI API 流量，让团队能够在不修改应用源码、不重启容器的情况下，为 AI Agent 增加护栏。 ...
# AI # InfoQ # Kubernetes
阅读全文

AgentFlo 如何在 Amazon Bedrock AgentCore 上构建可信的 AI 销售代理

来源: aws.amazon.com 55
AI 销售代理真正进入业务流程后，难点就不再是“能不能生成一段销售话术”，而是能否持续使用可信数据、遵守业务边界、调用正确工具，并让团队看清每一次决策。AgentFlo 在 Amazon Bedrock AgentCore 与 AWS 无服务器架构之上，围绕三层防护、数据 grounding 和端到端可观测性构建销售代理。来源摘要提到，这套实践带来了 ...
# AI # AWS # LLM
阅读全文

DeepSeek V4-Flash 补上视觉能力：多模态 Agent 进入实用阶段

来源: oschina.net 48
DeepSeek 为 V4-Flash 增加了视觉能力，并推出实验版本 。这个版本已经通过 这一 model id 在 DeepSeek API 平台开放调用。 这次更新的价值不只是“模型能看图”了。更关键的是，视觉能力被补进了一个原本就面向 Agent、推理和世界知识任务的模型系列，意味着同一个工作流可以同时处理文本、截图、文档图片和界面状态。 从摘...
# AI # LLM # 全栈
阅读全文

Pragmatic Chunker：把 RAG 的语义切片、向量入库与检索串成一条命令

来源: oschina.net 50
RAG 项目经常不是败在大模型，而是败在进入模型之前的文档处理：文件如何切分、上下文如何保留、切片如何向量化、结果如何写入检索库。开源工具 Pragmatic Chunker 面向这条链路，使用 Java 17 构建，目标是把语义化文件切片、向量入库和检索流程收拢到一个更容易执行的工具中。 最简单的做法是按照固定字符数切文档，例如每 1,000 个字符...
# AI # Java # LLM
阅读全文

“全员养虾”之后：组织级 AI 推广为什么烧掉算力，却没有自动变成生产力

来源: oschina.net 30
当一家公司把 AI Agent 开放给几乎所有员工，并且不限制 token 使用量，最先出现的往往不是生产力跃升，而是使用量、账单和各种新鲜的实验。美团内部被称为“全员养虾”的 AI 运动，正好暴露了组织级 AI 推广中一个容易被忽略的问题：让所有人都能用 AI，只能完成工具普及，不能直接完成工作方式升级。 据公开复盘，今年 2 到 3 月，美团约有 ...
# AI # LLM # 全栈
阅读全文

DeepSeek Harness v0.1.0-rc.8：终端助手开始真正处理图像

来源: oschina.net 47
DeepSeek Harness 公测刚满一周，就发布了 。这次版本包含 14 项更新，表面上看是命令、子 Agent、Windows 会话和默认模式的持续完善，真正改变使用方式的却是多模态能力：图片可以作为原生请求输入，也可以和文字混合发送，甚至能被 、 等工作流命令直接接收。 这意味着终端里的 AI 助手不再只处理日志、代码和自然语言描述。截图、架...
# AI # Go # LLM
阅读全文

PostgreSQL 共享哈希表并行聚合：锁之外，还有哪些成本

来源: postgr.es 43
PostgreSQL 的并行聚合长期采用 Partial/Finalize 路径：多个 worker 各自构建局部哈希表，再由 leader 重新合并聚合状态。这个设计简单、稳定，也符合 PostgreSQL 的多进程执行模型，但当输入行数很多、分组键复杂、最终分组数量接近输入规模时，Finalize 阶段可能重新做大量哈希和比较工作。 一种看似直接的...
# AI # GCP # Go
阅读全文

LFM2.5-DSpark 推理性能实测：如何理解最高 3.2 倍加速

来源: huggingface.co 39
LFM2.5-DSpark 的核心看点是推理速度：来源标题称其最高可实现 3.2 倍加速。对在线服务来说，这不只是一个漂亮的数字，更可能影响单机吞吐、接口延迟和部署成本。不过，“最高 3.2 倍”通常对应特定硬件、模型配置、输入长度和批处理策略，不能直接当作所有场景下的固定收益。 推理性能至少要拆成三个指标：首 token 延迟（TTFT）、生成速度（...
# AI # Hugging Face # LLM
阅读全文

用自然语言编写 Amazon Bedrock AgentCore 的 Dogwood 策略

来源: aws.amazon.com 50
AI agent 不只是回答问题，还可能调用工具、修改数据、发送消息或触发业务流程。当 agent 的行为超出组织政策时，仅依赖提示词并不足够。Amazon Bedrock AgentCore 的 Policy 能在 agent 执行操作时提供控制，并支持基于时间的约束；Policy Authoring 则可以把自然语言政策文档转换为 Dogwood ...
# AI # AWS # LLM
阅读全文