标签

LLM

智能体治理要落到运行时:隔离、策略执行与受控工具访问

来源: docker.com 35
“不要读取敏感文件”“执行命令前必须确认”“只能访问指定服务”这类提示词,可以指导模型,却不能构成可靠的安全边界。智能体一旦能够调用 shell、浏览器、数据库或内部 API,治理就必须进入运行时:由模型之外的组件拦截操作、检查策略、限制资源,并记录实际执行结果。 关键变化在于,系统不再假设智能体会始终遵守建议,而是假设模型输出可能出错、被提示注入影响...

治理 Agentic AI:用可执行护栏替代权限猜测

来源: docker.com 36
Agentic AI 的风险不只来自模型会不会答错,更来自它能够调用 API、读取数据、修改资源并触发后续流程。Docker 汇集企业安全负责人讨论的核心问题,正是如何治理这些具备行动能力的 AI Agent,同时避免把开发流程拖入漫长的人工审批。 真正可落地的答案不是要求开发者“谨慎使用”,而是把权限、审批、审计和运行时隔离做成可执行的工程护栏。这样...

Project Camellia 落地佐治亚州:AI 基础设施如何兑现社区承诺

来源: openai.com 31
OpenAI 宣布在美国佐治亚州埃芬汉县推进 Project Camellia。与单纯公布算力规模不同,这项计划同时强调负责任的能源使用、社区投资、就业机会,以及向当地提供 Codex 使用渠道。它提出了一个更实际的问题:大型 AI 基础设施进入一座县城时,怎样把建设承诺变成居民能够观察、核验和受益的长期项目? 从来源摘要披露的信息看,Project ...

AI 进入新闻编辑部:从报道辅助到受众增长的可控工作流

来源: openai.com 22
新闻机构正在把 AI 用于三个直接影响生存与公共价值的环节:加强报道能力、扩大受众覆盖,以及改善业务运营。真正值得关注的并不是“让模型替记者写稿”,而是如何把 AI 嵌入已有流程,同时保留核查、署名、编辑责任和来源保护。 新闻生产包含大量耗时但可拆解的任务:整理采访记录、提取人物和时间线、比较多份文件、生成检索词、为不同渠道准备标题草案。AI 可以压缩...

把 Claude 关进确定性边界:从文件系统、网络出口到执行沙箱

来源: infoq.com 30
当 AI 从聊天窗口走向网页操作、代码执行和办公协作,安全问题就不再只是“模型会说什么”,而是“模型实际上能碰到什么”。Anthropic 对 Claude 多类产品的隔离架构进行了说明,其中最重要的工程判断是:代理安全不能主要依赖权限弹窗、提示词约束或事后检测,而应由文件系统、网络和执行环境中的确定性限制兜底。 这类架构真正困难的地方,也不是把代理放...

前沿 AI 走进国家实验室:如何把模型能力变成可验证的科学发现

来源: openai.com 34
OpenAI 表示将与美国能源部及国家实验室合作,利用前沿 AI 加速科学发现。这件事的意义不只在于把更大的模型接入科研网络,而在于探索一套更完整的工作方式:让 AI 参与假设生成、候选筛选和实验设计,同时保留可复现记录、安全边界与人工验证。 材料科学、能源、气候和高能物理等领域经常面对巨大的搜索空间。研究人员可能需要从数百万种材料组合、实验参数或模拟...

在 PostgreSQL 内部做混合搜索:用 BM25、稀疏向量与 RRF 兼顾语义和术语

来源: postgr.es 29
向量检索很擅长理解“用户换了一种说法”的问题,却未必能准确命中 、 或 这类精确术语。pgEdge Vectorizer 新增的混合搜索能力将 BM25 稀疏向量生成放进 PostgreSQL,与稠密 embedding 一起维护,再用 Reciprocal Rank Fusion(RRF)合并结果。这样,应用不必额外维护一套关键词搜索服务。 稠密向量...

Miora 全量上线:腾讯把多智能体协作带进创意工作流

来源: oschina.net 28
创意工具正在从“生成一张图、写一段文案”转向“接住一份需求并推进整个项目”。腾讯首个自研创意智能体 Miora(腾讯设计妙境)现已全量上线。根据官方介绍,它基于与 WorkBuddy 同源的智能体架构,通过多个 AI Agent 协作理解目标、规划流程,并在持续使用中记住用户的创作方式。新用户注册可获得 1000 积分。 这次变化的重点并不只是多了一个...

OpenAI Presence:把企业级语音与聊天智能体接入真实工作流

来源: openai.com 39
OpenAI Presence 面向企业提供语音与聊天智能体平台,重点不是做一个孤立的对话演示,而是让组织能够在客户服务和内部流程中部署可信的智能体。对工程团队而言,真正的挑战也从“模型能否回答问题”转向身份认证、系统集成、人工接管、审计和持续评估。 企业智能体需要在多个系统之间完成闭环。例如,客服智能体可能要识别客户意图、查询订单、解释政策,并在权限...