标签

AI

在 SageMaker HyperPod 上扩展潜空间推理：解读 Pathway 的 BDH 架构

来源: aws.amazon.com 31
大语言模型通常把“思考过程”展开成一串 chain-of-thought（CoT）文本，而 Pathway 的 Baby Dragon Hatchling（BDH）选择了另一条路线：让推理发生在潜空间中，不必逐步输出推理 token。这种脑启发、后 Transformer 架构不仅改变了推理接口，也改变了训练、评测和基础设施优化的重点。Pathway ...
# AI # AWS # Go
阅读全文

让模型在潜空间里思考：Pathway 如何在 SageMaker HyperPod 上开发 BDH

来源: aws.amazon.com 21
大语言模型通常通过不断生成 token 来展开推理，而 Pathway 的 Baby Dragon Hatchling（BDH）选择了另一条路线：它是一种受大脑启发的后 Transformer 架构，在潜空间中进行推理，而不是把完整的思维链逐 token 输出。这个变化不仅影响模型结构，也会改变训练、扩展和成本评估的方式。 Pathway 在 Amaz...
# AI # AWS # Go
阅读全文

Kubernetes v1.37 工作负载感知调度：从 Pod 逐个排队到分层 Gang Scheduling

来源: kubernetes.io 42
AI 训练、分布式推理和复杂批处理任务很难用“每个 Pod 独立调度”的模型表达。一个包含 8 个 worker 和 1 个 driver 的训练任务，即使先启动了 3 个 worker，通常也无法产生有效进展，反而会长期占用 GPU、网络和 DRA 资源。 Kubernetes v1.37 继续推进 Workload-Aware Scheduling...
# AI # Go # Kubernetes
阅读全文

Termexo v0.8.3：让多 Agent 并行时的终端输入更跟手

来源: oschina.net 18
Termexo v0.8.3 已经发布。这次更新没有把重点放在增加更多 Agent，而是处理多任务工作台更容易暴露的两个体验问题：终端输入卡顿，以及任务启动后难以继续补充要求。对于同时运行 Claude Code、Codex CLI、OpenCode 和普通终端的 Windows 用户，这类优化往往比新增一个按钮更直接。 Termexo 是一个采用 M...
# AI # LLM # 全栈
阅读全文

跨账户管好模型：MLflow 与 SageMaker Model Registry 的两种治理拓扑

来源: aws.amazon.com 38
自动把 MLflow 模型注册到 Amazon SageMaker AI Model Registry，只解决了“模型如何进入注册表”的问题。当开发、治理和生产环境分布在不同 AWS 账户后，真正棘手的是：谁拥有模型组、谁可以修改审批状态、推理制品放在哪里，以及账户被回收后模型是否仍可部署。 围绕跨账户治理，可以考虑两种拓扑：通过 AWS Resour...
# AI # AWS # Go
阅读全文

用 MLflow 与 SageMaker Model Registry 同步构建单账户模型治理闭环

来源: aws.amazon.com 28
Amazon SageMaker AI 托管的 MLflow 现在可以把更完整的模型信息同步到 SageMaker AI Model Registry，包括训练指标、评估结果、推理规格和模型血缘，并让模型生命周期阶段的晋升进入统一治理流程。对团队而言，这意味着 MLflow 不再只是实验记录工具，Model Registry 也不必依赖人工补录上下文。...
# AI # AWS # Go
阅读全文

让 AI 接管量子实验循环：GPT-5.6 Sol、Codex 与量子比特校准

来源: openai.com 35
量子计算实验很少是“一次提交、直接成功”。研究人员通常需要反复修改脉冲参数、运行测量、分析结果，再根据偏差重新校准。来源案例展示了一位 MIT 研究人员如何结合 GPT-5.6 Sol 与 Codex，让系统自主执行这条实验闭环：运行实验、分析数据，并校准量子比特。 真正值得关注的不是让模型替代某一条实验命令，而是把语言模型、代码执行环境和实验设备组织...
# AI # LLM # OpenAI
阅读全文

把 AI Agent 回归测试接入 GitHub Actions：用 Amazon Bedrock AgentCore 自动拦截行为退化

来源: aws.amazon.com 30
传统服务可以靠单元测试验证确定性输出，AI Agent 却没有这么简单：同一个问题可能产生不同措辞，工具调用还会受到上下文、权限和模型版本影响。更可靠的办法，是把部署、真实提示词调用和语义评分串进 CI，让每个 Pull Request 都接受一次自动化行为检查。 Amazon Bedrock AgentCore Evaluations 与 GitHu...
# AI # AWS # LLM
阅读全文

SageMaker 上的 30B MoE 推理怎么选 GPU：G7、G6e、G6 与 G5 基准测试方法

来源: aws.amazon.com 39
部署实时大模型服务时，GPU 型号更新并不自动等于成本下降。真正需要比较的是：在目标并发、输入长度和输出长度下，每秒能生成多少 token，用户需要等待多久，以及这些 token 最终花了多少钱。 针对 Qwen3-Coder-30B 和 NVIDIA Nemotron-3-Nano-30B 这两个 30B Mixture-of-Experts（MoE...
# AI # AWS # LLM
阅读全文