Google 表示,Gartner 已连续第九年将其列入战略云平台服务魔力象限的领导者,并在“愿景完整性”维度上处于最远位置。比排名更值得工程团队关注的,是 Google Cloud 对下一阶段云基础设施的判断:企业需要把模型、智能体、应用、数据和算力放进同一个可调度、可治理的平台,同时控制性能、成本与合规边界。
这套思路可以归纳为三个设计原则:软硬件协同但保留开放性,以动态基础设施提高资源利用率,以及通过多种部署模式满足数字主权要求。
从芯片到智能体,但不把选择权锁死
Google Cloud 强调其 AI 技术栈采用纵向协同设计:底层包括 TPU 和基于 Arm 的 Axion 处理器,中间由 GKE 等平台负责调度,上层连接 Gemini 模型与智能体应用。基础设施团队与 Google DeepMind 研究团队共同优化各层,使硬件、运行时、模型和应用不再被视为彼此孤立的组件。
这种设计的工程价值主要体现在两个方面:
- 减少跨层损耗:模型实现、编译器、互联网络和芯片可以围绕同一类工作负载联合优化。
- 提高成本可预测性:平台能够针对训练、批量推理和在线推理提供不同资源组合,减少为峰值长期保留算力的需求。
纵向协同也容易引出供应商锁定问题。Google 给出的应对方向是继续支持开源框架与开放标准,例如用于分布式推理的 llm-d、用于开放模型基准测试的 GKE Prism,以及让 PyTorch 工作负载能够跨 TPU 和 GPU 迁移的 TorchTPU。这里真正需要验证的不是“是否支持 PyTorch”,而是业务所依赖的算子、精度、性能分析工具和故障恢复机制能否迁移。
因此,评估 AI Hypercomputer 一类完整栈时,不应只比较单卡峰值性能。更实用的指标包括每百万 token 成本、P95 推理延迟、扩容等待时间、检查点恢复时间,以及同一模型迁移到另一种加速器所需的工程工作量。
动态基础设施解决的是利用率问题
智能体工作负载往往呈现明显波峰:白天交互请求增长,夜间运行批处理和评估任务,大型活动还会产生短时间容量需求。静态预留容易形成闲置资源,完全依赖即时扩容又可能在关键时刻遇到容量不足。
Google Cloud 将动态基础设施描述为一个统一系统:企业可以选择预定义或自定义 CPU、NVIDIA GPU、TPU 和 Axion CPU,通过 GKE 连接企业应用与 AI 基础设施,再使用 Dynamic Workload Scheduler 预先安排计划性容量,并通过动态资源分配定义资源消费规则。Gemini Cloud Assist 则面向上线后的诊断和运维工作。
这对平台团队提出了一个明确要求:容量管理不能只做成“CPU 超过 70% 就增加副本”。AI 服务至少需要同时考虑请求队列、token 吞吐量、加速器占用率、模型加载时间和服务等级目标。计划内任务适合预调度,在线流量适合弹性扩缩,低优先级评估任务则应允许暂停或延后。
跨环境连接也是这套设计的一部分。Google 表示,Cross-Cloud Interconnect 借助其超过一千万公里的私有光纤骨干网,在其测试条件下,相比经公共互联网路由到同一目标,网络延迟可降低超过 40%。这个数字不能直接代替企业自己的压测;实际结果仍取决于区域、目标云、流量路径和应用协议。
可以这样实践:在 GKE 上建立可伸缩的智能体入口
下面是一个可直接改造的最小示例。它没有调用特定模型,而是先部署一个 HTTP 服务作为智能体网关,并用 HPA 根据 CPU 负载扩缩。运行前需要安装 gcloud 和 kubectl,设置 Google Cloud 项目,并确保项目已启用计费。
export PROJECT_ID="your-project-id"
export REGION="us-central1"
export CLUSTER="agent-platform"
gcloud config set project "$PROJECT_ID"
gcloud services enable container.googleapis.com
gcloud container clusters create-auto "$CLUSTER" \
--region "$REGION"
gcloud container clusters get-credentials "$CLUSTER" \
--region "$REGION"
将以下内容保存为 agent-gateway.yaml,其中使用 NGINX 代替真实网关。接入业务时,把镜像替换为能够完成鉴权、提示词组装、模型路由和审计记录的服务镜像。
apiVersion: apps/v1
kind: Deployment
metadata:
name: agent-gateway
spec:
replicas: 2
selector:
matchLabels:
app: agent-gateway
template:
metadata:
labels:
app: agent-gateway
spec:
containers:
- name: gateway
image: nginx:1.27-alpine
ports:
- containerPort: 80
resources:
requests:
cpu: 250m
memory: 256Mi
limits:
cpu: "1"
memory: 512Mi
readinessProbe:
httpGet:
path: /
port: 80
initialDelaySeconds: 3
periodSeconds: 5
---
apiVersion: v1
kind: Service
metadata:
name: agent-gateway
spec:
selector:
app: agent-gateway
ports:
- port: 80
targetPort: 80
---
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
name: agent-gateway
spec:
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: agent-gateway
minReplicas: 2
maxReplicas: 20
behavior:
scaleDown:
stabilizationWindowSeconds: 300
metrics:
- type: Resource
resource:
name: cpu
target:
type: Utilization
averageUtilization: 60
应用并检查状态:
kubectl apply -f agent-gateway.yaml
kubectl get deploy,svc,hpa
kubectl port-forward service/agent-gateway 8080:80
curl http://127.0.0.1:8080/
生产环境应把 CPU 指标替换或补充为队列深度、并发推理数、每秒 token 数等业务指标。GPU 或 TPU 推理服务还需要配置对应的节点类型、设备资源请求和模型存储;具体字段会随 GKE 模式、加速器和区域而变化,不宜直接从这个 CPU 示例推断。
数字主权不只是选择一个区域
数据存放在指定区域,并不等于已经满足数字主权要求。控制面由谁运营、密钥由谁持有、数据能否跨境处理、平台是否依赖公共网络,以及运维人员在什么司法辖区内,都可能影响合规结论。
Google Cloud 给出了三类部署方式:
- 数据边界与密码学控制:通过 Google Cloud Data Boundary 限定处理和存储位置,并结合 External Key Management 与 Key Access Justifications,让组织在 Google 基础设施之外管理密钥并审核密钥访问理由。
- 本地合规与区域运营:由当地合作伙伴运营物理和逻辑隔离的区域云。摘要中列举了法国 S3NS 提供、已获得 ANSSI SecNumCloud 3.2 认证的 PREMI3NS,以及计划由 Thales 在德国运营的专用主权云。
- 本地或隔离部署:Google Distributed Cloud 提供 connected 和 air-gapped 两种模式。后者不连接公共互联网,适合公共部门、国防和高度受监管的工作负载;前者在本地硬件运行工作负载,同时使用 Google Cloud 控制面统一管理。
这些选项不是同一产品的三个开关。隔离程度越高,通常意味着升级速度、可用托管服务范围、跨区域容灾方式和运维成本会发生变化。采购前应让安全、法务、平台和业务团队共同绘制数据流,而不是只检查资源所在区域。
采用前的工程检查表
Google Cloud 描绘的是一个从芯片延伸到智能体、又能跨云和本地运行的统一平台。它的吸引力在于整合,但整合本身也扩大了需要验证的范围。落地前建议完成以下检查:
- 用真实模型和输入分布测试成本、延迟、吞吐量与精度,而不是只引用通用基准。
- 分别设计计划性容量、在线弹性容量和可中断批处理任务的调度策略。
- 验证关键模型在 GPU、TPU 或其他环境间迁移时的算子兼容性和性能差异。
- 对跨云链路进行区域级延迟、故障切换、带宽费用和加密测试。
- 明确数据位置、密钥控制权、运维主体、日志去向和断网运行要求。
- 在使用 Gartner 结论辅助选型时,继续结合自身架构约束、合同条款和实测结果。
对于正在构建智能体平台的团队,合理的起点不是一次性迁移全部系统,而是选取一个边界清晰的推理或智能体工作流,在同一试点中同时验证算力调度、可观测性、跨环境连接与主权控制。只有这些指标在真实负载下成立,“统一平台”才会转化为可衡量的工程收益。