从百万 Token 到实体机器人:AWS 生成式 AI 的工程边界正在外扩

2026-09-10 30 预计阅读时间: 1 分钟
来源: aws.amazon.com AI 摘要 Original link

Disclaimer: This article is an AI-assisted summary. Read it together with the original source when precision matters. The summary may omit context, version differences, or edge cases and is not official documentation.

预计阅读时间:10 分钟

2026 年 8 月,AWS 面向 AI 开发者的一批更新集中落在三个方向:更大的模型上下文、更持久的智能体运行环境,以及从云端向政府区域和物理设备扩展的部署能力。涉及的产品包括 Amazon Bedrock、Amazon Bedrock AgentCore 和 Strands,其中包括 OpenAI 模型的百万 Token 上下文、跨区域推理、最长可运行 14 天的专用计算智能体、扩大的 AWS GovCloud 覆盖,以及用于实体部署的 Strands Robots。

这些能力并不是简单地把参数调大。上下文、执行时间和部署范围扩展后,系统的成本模型、故障模式与安全边界也会随之改变。

百万 Token 上下文解决了什么

百万 Token 上下文允许应用一次提交更大的资料集合,例如代码仓库、合同档案、研究材料或长期会话记录。过去需要先切片、检索和拼接的任务,现在可以让模型看到更完整的全局信息。

但“大上下文”不等于“不再需要 RAG”。工程上仍要考虑三个问题:

  • 成本与延迟:输入越长,推理成本和首 Token 延迟通常越高。
  • 信息密度:大量无关文本会稀释关键证据,降低答案稳定性。
  • 权限边界:把多个数据源拼进同一次请求,可能无意间绕过原有的数据隔离规则。

更稳妥的模式是保留检索层,同时根据任务动态决定上下文预算。例如,常规问答只注入命中的片段;代码迁移、跨文档审计等确实需要全局视角的任务,再启用超长上下文。

下面是一个可改造的 Bedrock Runtime 示例。它通过环境变量接收模型 ID 或跨区域推理配置文件 ID,因此不把具体区域和模型版本写死。运行前需要安装 boto3、配置 AWS 凭证,并将 BEDROCK_MODEL_ID 替换为账户中已获授权的实际标识。

python -m venv .venv
source .venv/bin/activate
pip install boto3
export AWS_REGION=us-east-1
export BEDROCK_MODEL_ID='替换为模型ID或推理配置文件ID'
# ask_bedrock.py
import os
from pathlib import Path

import boto3

region = os.environ.get("AWS_REGION", "us-east-1")
model_id = os.environ["BEDROCK_MODEL_ID"]
context_file = Path(os.environ.get("CONTEXT_FILE", "context.txt"))

context = context_file.read_text(encoding="utf-8")
client = boto3.client("bedrock-runtime", region_name=region)

response = client.converse(
    modelId=model_id,
    system=[
        {
            "text": (
                "你是代码审查助手。只根据提供的上下文回答;"
                "证据不足时明确说明,不要猜测。"
            )
        }
    ],
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "text": (
                        "分析以下材料中的三个最高风险问题,"
                        "并为每个结论引用对应文件名或章节。\n\n"
                        f"{context}"
                    )
                }
            ],
        }
    ],
    inferenceConfig={"maxTokens": 1200, "temperature": 0.1},
)

print(response["output"]["message"]["content"][0]["text"])
print(response.get("usage", {}))
CONTEXT_FILE=./context.txt python ask_bedrock.py

示例使用通用的 Bedrock Converse 调用方式;具体模型是否支持百万 Token、可用区域、配额和请求参数,应以账户中的服务配置为准。生产环境还应在提交前执行 Token 估算,并记录响应里的用量数据。

跨区域推理不只是容灾开关

跨区域推理可以把请求调度到其他受支持区域,从而缓解单一区域的容量压力,并改善高峰期的可用性。对于在线客服、批量文档处理和编码智能体,这意味着应用不必完全依赖某个区域的即时模型容量。

它同时引入了架构约束。团队需要核对数据驻留要求、调用链路、日志归属和区域故障策略。尤其在受监管系统中,不能只因为 SDK 接口不变,就假定数据处理边界也没有变化。

可以在应用配置中显式区分普通模型标识和跨区域推理配置文件,避免把路由决策散落在业务代码里。下面的 YAML 是一种可以这样实践的应用侧配置,并非 AWS 资源定义:

# ai-routing.yaml
workloads:
  interactive:
    model_env: BEDROCK_INTERACTIVE_PROFILE_ID
    timeout_seconds: 45
    max_input_tokens: 120000
    retry_attempts: 2
  repository_audit:
    model_env: BEDROCK_LONG_CONTEXT_PROFILE_ID
    timeout_seconds: 300
    max_input_tokens: 900000
    retry_attempts: 1

governance:
  allowed_source_regions:
    - us-east-1
  redact_sensitive_fields: true
  record_token_usage: true
  reject_on_context_limit: true

关键点不是 YAML 的格式,而是让区域路由、上下文预算和治理规则成为可审计配置,而不是隐藏在提示词或异常重试逻辑中。

运行 14 天的智能体需要任务系统思维

Amazon Bedrock AgentCore 支持智能体在专用计算资源上最长运行 14 天,这让软件迁移、持续研究、复杂测试和多阶段数据处理等任务有了更大的执行窗口。此类工作负载已经不同于一次普通的聊天请求,更接近一个长期运行的分布式任务。

因此,智能体至少应具备以下机制:

  • 使用稳定的任务 ID,实现幂等启动和安全重试。
  • 定期写入检查点,而不是把全部状态留在进程内存中。
  • 为外部工具调用设置超时、预算和允许列表。
  • 支持取消、人工审批和最大执行期限。
  • 将专用计算时间、模型 Token、工具调用和存储成本分别计量。

14 天是运行上限,不应成为默认任务时长。一个无法在中途恢复、无法解释当前进度、也无法被操作员终止的长任务,会把偶发错误放大成持续数天的资源消耗。

GovCloud 与机器人把安全边界推到模型之外

扩大的 AWS GovCloud 可用性,使更多受监管工作负载能够评估生成式 AI 服务。不过,服务进入 GovCloud 并不自动意味着应用已经满足合规要求。模型可用性、区域范围、日志保留、加密密钥、数据分类和供应链审批仍需逐项确认。

Strands Robots 则把智能体能力带到物理部署场景。此时模型输出可能最终触发移动、抓取或设备控制,传统的软件权限检查不再充分。合理的系统应把大模型限制在规划或建议层,由确定性控制器执行速度限制、碰撞检测、急停和工作区约束。网络断开时,设备也必须进入可预测的安全状态,而不是等待下一次模型响应。

采用前的工程检查表

这批更新适合分阶段引入,而不是同时开启所有新能力:

  • 先用真实请求测试长上下文的准确率、延迟和单位任务成本。
  • 对跨区域推理建立明确的数据驻留清单和故障演练。
  • 把 AgentCore 长任务设计成可恢复、可取消、可观测的状态机。
  • 在 GovCloud 中逐项验证服务、模型和区域可用性,不沿用商业区域的默认假设。
  • 对机器人部署设置独立于模型的硬安全约束和人工接管机制。

真正的变化不是模型能够读取更多文字或运行更久,而是 AI 应用开始承担跨区域、跨天乃至跨越数字与物理世界的工作。相应地,开发团队也需要从提示词工程转向任务编排、容量治理、安全控制和完整生命周期运维。


相关推荐