Foundry Model Router 扩展至 28 个区域,模型池迎来新一轮更新

2026-08-31 24 预计阅读时间: 1 分钟
来源: infoq.com AI 摘要 Original link

Disclaimer: This article is an AI-assisted summary. Read it together with the original source when precision matters. The summary may omit context, version differences, or edge cases and is not official documentation.

预计阅读时间:7 分钟

Microsoft 正在扩大 Foundry Model Router 的覆盖范围:全球标准部署从两个区域扩展到 28 个区域,数据区域部署则覆盖 21 个区域。与此同时,模型池加入 Claude Opus 4.8 和 GPT-5.6,并移除四个已弃用模型。这个变化看似只是一次模型列表刷新,实际上会影响部署可用性、模型选择范围以及应用能够使用的上下文窗口。

模型池发生了什么变化

这次更新包含三类变化:

  • 全球标准部署的可用区域增加到 28 个。
  • 数据区域部署的可用区域增加到 21 个。
  • 模型池加入 Claude Opus 4.8、GPT-5.6,同时移除四个已弃用模型。

区域扩展意味着应用可以在更多区域使用路由能力,但并不代表每个区域的模型组合完全一致。部署类型仍然重要:需要满足数据驻留要求的应用,应单独确认数据区域部署是否覆盖目标区域,以及目标区域中的模型池是否符合业务要求。

模型池更新也会改变路由器能够选择的候选模型。对于默认部署,池的变化会自动生效;对于显式配置了模型子集的部署,新模型不会自动加入,必须由使用方主动添加。

默认部署和自定义子集的差异

可以把 Model Router 理解成一个候选模型池。默认部署使用平台维护的池,因此平台更新后,路由器可能直接开始使用新模型。显式配置模型子集的部署则更像一份固定白名单,它提供了更强的可控性,但也意味着新模型不会自动进入候选范围。

这种差异会带来两个实际结果:

  1. 默认部署更容易获得模型池的最新能力,但模型行为可能随池更新而变化。
  2. 自定义子集更适合需要稳定性、审计或兼容性验证的生产系统,但需要持续维护配置。

如果应用依赖某个固定模型的输出格式、工具调用行为或成本特征,不应只依赖默认池。可以先在测试环境观察更新后的路由结果,再决定是否锁定一个经过验证的子集。

上下文窗口由最小模型决定

这次更新中一个容易被忽略的限制是:有效上下文窗口等于模型池中上下文窗口最小的模型。

例如,一个池中包含三个模型,假设它们的上下文窗口分别为 200000、128000 和 64000,那么路由器对该池提供的有效上下文窗口就是 64000,而不是 200000。即使某次请求最终被路由到支持更长上下文的模型,也不能把整个池当成一个 200000 token 的统一接口。

可以这样实践:在应用启动时检查候选模型的上下文限制,并用最小值约束请求。下面是一个不依赖 Microsoft SDK 的最小 Python 示例,模型名称和上下文数值仅用于演示,实际项目应替换为部署配置或服务端返回的元数据。

from dataclasses import dataclass


@dataclass(frozen=True)
class Model:
    name: str
    context_window: int


POOL = [
    Model("claude-opus-4.8", 200_000),
    Model("gpt-5.6", 128_000),
    Model("legacy-compatible-model", 64_000),
]


effective_context = min(model.context_window for model in POOL)
print(f"effective context window: {effective_context} tokens")

requested_tokens = 100_000
if requested_tokens > effective_context:
    raise ValueError(
        f"request needs {requested_tokens} tokens, "
        f"but this pool supports at most {effective_context} tokens"
    )

生产环境中还应把这个检查放在请求入口,或在长对话进入路由器前执行历史压缩、摘要和截断。这样可以避免某个新模型看似支持更长上下文,但请求仍因池中较小模型的限制而失败。

如何处理这次更新

可以用下面的检查清单评估现有部署:

  • 确认应用使用的是默认部署还是显式模型子集。
  • 检查目标区域属于全球标准部署还是数据区域部署。
  • 重新记录当前模型池,尤其关注四个已弃用模型是否仍出现在配置、监控和回退逻辑中。
  • 验证新模型加入后,输出格式、工具调用和延迟是否满足应用要求。
  • 按模型池中的最小上下文窗口设置应用侧限制。
  • 为默认部署建立模型变更监控,避免平台自动更新后出现难以解释的行为变化。

Model Router 的价值在于把模型选择交给路由层,但自动化并不等于无需治理。默认池适合希望快速获得新模型的场景;自定义子集适合需要严格回归测试和稳定行为的生产工作负载。选择哪种方式,取决于应用更看重模型池的新鲜度,还是更看重可预测性。


相关推荐