标签

LLM

用 GPUDirect + FSx for Lustre 加速百亿参数 LLM 加载，TurboQuant 扩展上下文窗口

来源: aws.amazon.com 247
当你把一个 70B 甚至 175B 参数的大模型往 GPU HBM 里塞的时候，等待时间会随参数量线性膨胀——几百 GB 的权重文件先从存储读到 CPU 内存，再从 CPU 内存拷贝到 GPU，整个过程 GPU 干等着，推理启动慢、资源浪费大。AWS 近期把 GPUDirect Storage（GDS）与 Amazon FSx for Lustre 打...
# AI # AWS # LLM
阅读全文

沙箱安全：隔离边界之外的策略与 enforcement

来源: docker.com 66
40% 的受访企业把安全列为规模化 Agentic AI 的头号难题——这不是因为大家不懂"隔离"，而是因为光有隔离远远不够。沙箱把进程关起来，沙箱安全则要确保这扇门在真实压力下不会被撞开、被绕过、被悄悄撬开。两者之间的差距，正是生产环境事故的常见起点。 传统沙箱解决的是"空间隔离"：进程 A 看不到进程 B 的文件，容器 C 不能访问宿主机网络。实现...
# AI # Docker # LLM
阅读全文

Starlette 的 BadHost 漏洞：一个畸形 Host 头如何撕开 AI 代理的访问控制

来源: infoq.com 57
Starlette 是 Python Web 生态中用量最广的轻量框架之一——每周下载量 3.25 亿，FastAPI、Uvicorn 的底层 HTTP 处理都依赖它。而最近披露的 BadHost 漏洞（高危），让一个看似不起眼的 HTTP Host 头，变成了绕过路径级访问控制的钥匙。对于把 Starlette 当作 AI 代理、LLM 网关、模型评...
# AI # InfoQ # LLM
阅读全文

Starlette BadHost 漏洞：一个畸形 Host 头如何绕过 AI 代理的访问控制

来源: infoq.com 55
Starlette 是 Python 生态中用量最大的 Web 框架之一——每周下载量 3.25 亿，FastAPI、Uvicorn 等基础设施都直接依赖它。最近披露的 BadHost 漏洞（高危）揭示了一个容易被忽视的问题：当路径级访问控制遇上畸形的 HTTP 头，防线会从根部断裂。对于暴露在公网的 AI Agent 服务、LLM Gateway 和...
# AI # InfoQ # LLM
阅读全文

AI 编程代理删了整个家目录：真实事故复盘与沙箱隔离实践

来源: docker.com 48
你让 AI 编程代理帮你清理项目里的临时文件，它理解成了"清理用户目录下的所有文件"，然后毫不犹豫地执行了 。这不是段子，是真实发生的安全事故。AI coding agent 的权限边界如果没画清楚，它犯错的代价远比人类手滑更致命——因为它执行命令时没有犹豫。 事故的起因很普通：开发者给 AI 编程代理下了一个指令，大意是"把项目里不需要的临时文件清理...
# AI # Docker # Go
阅读全文

1GW 数据中心落地密歇根：AI 基础设施的规模意味着什么

来源: openai.com 56
OpenAI 在密歇根州动工建设一座 1GW（吉瓦）级数据中心，这是 Stargate 项目的一部分。1GW 不是一个小数字——它相当于一座中型城市的全部用电量。当一家 AI 公司开始以这种尺度拿地、拉电、建机房，信号很明确：大模型的训练和推理需求已经从"租几台 GPU 云主机"的阶段，跨入了"自建电力级算力工厂"的阶段。 先把这个数字拉到地面。1GW...
# AI # LLM # OpenAI
阅读全文

当 AI 编码代理住进终端：从执行工具到有状态工作空间的转变

来源: oschina.net 58
终端曾经是开发者工作流里最不需要操心的一环。打开 shell，跑命令，看输出，切目录，偶尔分个窗格——它是一个薄而快的执行接口，用完即走。但 AI coding agents 正在改写这个前提：它们不只是"在终端里跑"，它们在终端里做有状态的工作——读文件、改代码、跑测试、处理错误、再改代码。终端从"工具"变成了"工作空间"，而现有的终端 UI 并没有...
# AI # LLM # 全栈
阅读全文

AgentDesk v1.5.0：把 AI 客服从"聊天框加个大模型"拉回真实业务链路

来源: oschina.net 54
市面上不少"AI客服"产品的做法很直接：拿一个 LLM，套个对话界面，上线。用户问一句，模型答一句，看起来很酷，但客服团队很快发现问题——知识库检索不准时没人兜底，复杂问题转人工的路径断了，工单闭环更是没影。AgentDesk 的思路不同：它把 AI 优先接待、知识库 RAG 检索、人工协同接管、工单流转闭环统一放在同一套系统里，不是给聊天框加个大脑，...
# AI # LLM # 全栈
阅读全文

OpenAI 前沿模型与 Codex 正式登陆 AWS：企业落地的新路径

来源: openai.com 49
OpenAI 的前沿模型（GPT-4o、o3、o4-mini 等）和代码执行代理 Codex 终于在 AWS 上正式可用（GA）。这意味着企业不再需要绕开现有的 AWS 账户体系、安全策略和采购流程去单独对接 OpenAI——直接在熟悉的 AWS 环境里调用即可，从评估到上线的路径大幅缩短。 过去一年，不少企业在用 OpenAI 模型时遇到一个尴尬局面...
# AI # AWS # LLM
阅读全文