标签

阮一峰

当算力成为稀缺资源:如何把社会公平写进调度规则

来源: ruanyifeng.com 19
当 AI 训练、推理和数据处理开始争夺同一批 GPU,算力就不再只是采购问题,也变成了资源分配问题。谁能获得资源、等待多久、为此支付多少成本,都会影响个人、团队乃至组织参与技术创新的机会。讨论“资源、社会公平与算力”,真正值得工程师追问的是:公平能否从抽象原则变成可检查、可执行的系统规则? 传统调度器通常优化利用率、吞吐量或任务完成时间。这些指标很重要...

跑得动大模型之前,先算清 AI 的显存账

来源: ruanyifeng.com 34
部署或训练 AI 模型时,参数量只是账单上的第一项。权重、KV Cache、中间激活、梯度、优化器状态和运行时工作区会在不同阶段争夺 GPU 显存。理解这些组成,才能回答三个实际问题:模型能否加载、请求能否达到目标并发、训练任务为什么突然 OOM。 由于来源摘要没有限定具体模型或框架,下面采用通用估算方法,并把代码明确作为可调整的实践示例。实际数字仍应...

Dropbox 的增长困局:云盘为什么更像企业工具,而不是消费者应用

来源: ruanyifeng.com 27
Dropbox 曾经是云盘的代名词。2007 年,它把“文件自动同步到云端”这件事做成了革命性产品,也靠邀请注册送空间的病毒式传播拿到了大量用户。但多年之后,它没有成长为同代公司里那种巨型平台,股价和市值都显得停滞。 这件事值得技术团队反复咀嚼:一个产品早期获客成功,不等于商业定位正确。Dropbox 的核心问题不只是“云盘竞争激烈”,而是它长期把自己...

从《我在智念 AI 的日子》读懂 AI 公司里的系统风险

来源: ruanyifeng.com 45
这一期周刊把主菜做成了一篇小说:《我在智念 AI 的日子》。公开摘要只说明它是每周科技内容分享的一部分,具体情节没有展开;但题目已经足够有意思:当“AI 公司”“工作日常”“叙事”放在一起,读者不只是看故事,也会自然追问一个工程问题:一个围绕 AI 运转的组织,风险到底藏在哪些流程里? 下面不复述小说细节,而是把它当作一个技术讨论入口:如果我们在真实团...

“AI 开源”到底开了什么:从 Dario Amodei 的质疑谈起

来源: ruanyifeng.com 28
Anthropic 创始人 Dario Amodei 认为“AI 开源”在很多语境下是个伪命题。这个判断刺耳,但它击中了一个真实问题:当一个大模型只发布了权重,甚至只允许“研究使用”,我们到底能不能把它当作传统意义上的开源软件? 对开发者来说,这不是口水战。它会影响你能不能商用、能不能复现、能不能审计安全风险,以及团队是否会被某个模型生态锁住。 在软件...

把“赚到 10 亿美元”拆成可计算的工程问题

来源: ruanyifeng.com 29
“如何赚到 10 亿美元”听起来像一句夸张的标题,但对技术人来说,它更值得被拆成一个系统问题:什么样的产品、分发、毛利、留存和市场规模,才可能支撑这个数量级的结果?科技内容每周都在变化,真正有用的部分不是记住某个灵感,而是把灵感变成可验证的模型。 这篇文章不把“10 亿美元”当鸡血目标,而是把它当作一个反推工具:如果终点很大,路径必须经过哪些硬约束? ...

科技爱好者周刊(第 400 期):rsync 的争论

来源: ruanyifeng.com 33
{ "title_zh": "rsync 还能不能放心用?一场老牌工具的信任危机", "body_zh": "rsync 是 Linux 世界里最长寿的文件同步工具之一,几乎每台服务器上都能找到它。但最近围绕它的一场争论,让不少人开始重新审视这个"老伙计"——安全漏洞、维护节奏、替代方案,每一环都在动摇 rsync 的默认地位。\n\n## 漏洞敲响了...

中国 AI 大厂实地走访:从实验室到开发者手里的真实距离

来源: ruanyifeng.com 51
最近一期科技爱好者周刊以"中国 AI 大厂访问记"为主题,记录了对国内主要 AI 公司的实地探访。比起发布会上的 PPT 和模型跑分,走进厂区看到的细节更能回答一个实际问题:这些大模型对普通开发者到底意味着什么? 走访多家公司后最直观的感受是——各家走的路并不一样。有的把重心放在基础模型参数规模上,堆算力、堆数据;有的更偏应用层,模型是底座,真正的发力...

Token 费用越来越贵,开发者怎么扛住这笔账

来源: ruanyifeng.com 47
大模型的 API 调用费用正在从"可以忽略的小钱"变成"不得不算的大头"。GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro——模型能力在涨,单价也在涨。一个中等复杂度的 Agent 任务,跑一次可能就烧掉几美元的 token;如果每天跑上千次,月账单轻松破万。对个人开发者和小团队来说,这笔钱已经不是"试试看"的级别,而是"...

财富正在向 AI 集中——开发者如何看清局势并找到位置

来源: ruanyifeng.com 43
每隔几个月,科技行业的权力版图就在重塑。上一轮是移动互联网把财富推向平台型公司,这一轮的引擎换成了 AI——而且集中速度更快、门槛更高。 看几个硬指标: 算力即资本。英伟达 2024 财年数据中心营收超过 470 亿美元,同比翻倍以上。买 GPU 的钱,本质上是在买进入 AI 世界的门票。 头部模型公司吸走大部分融资。OpenAI 一轮融资就超过百亿美...