PyTorch 2.13：FlexAttention 登上 Apple Silicon，Mac 上的注意力实验更近一步

预计阅读时间：8 分钟

PyTorch 2.13 发布的一个关键信号是：FlexAttention 开始支持 Apple Silicon 上的 MPS 后端。对于在 MacBook、Mac Studio 上做模型原型、调试注意力机制或跑中小规模实验的开发者来说，这意味着部分原本更依赖 CUDA 环境的注意力优化路径，正在向本地 Apple GPU 迁移。

这不是“Mac 可以替代训练集群”的故事。更现实的变化是：本地开发机上的模型实验半径变大了，尤其是涉及自定义 mask、块稀疏注意力、长上下文试验时，开发者可以更早发现逻辑问题，而不是每次都把代码推到远端 GPU 机器上验证。

FlexAttention 为什么值得关注

传统注意力实现经常卡在两个矛盾之间：一边想要高性能 kernel，一边又想保留灵活的注意力模式。比如你可能需要：

causal attention，只看当前位置之前的 token；
sliding window attention，只看局部窗口；
document packing 场景下的 block mask；
按业务规则屏蔽某些 token 对。

FlexAttention 的价值在于，它把“如何计算注意力”和“哪些位置允许互相注意”拆得更清楚。开发者可以表达更灵活的 attention mask，同时仍然争取获得后端优化带来的性能收益。

这次发布摘要中特别点出 Apple Silicon MPS，说明 PyTorch 团队正在把这类新注意力能力扩展到 Mac 的 GPU 后端。对日常工程流来说，这会影响三个环节：本地复现、模型结构探索、跨设备兼容性测试。

MPS 支持改变的是开发循环

在很多团队里，Mac 是代码编辑和小规模验证机器，CUDA 服务器才是正式训练机器。问题在于，注意力相关代码一旦引入自定义 mask 或新 kernel，本地 CPU 验证通常太慢，远端 GPU 排队又拉长反馈时间。

FlexAttention 支持 MPS 后，可以这样调整开发循环：

在 Mac 上先跑小 batch、小序列长度，验证张量形状、mask 逻辑和数值是否合理；
在 CI 或远端 CUDA 上继续跑性能基准和大规模回归；
对关键路径保留 CPU fallback 测试，避免后端差异掩盖逻辑错误。

需要注意的是，MPS 后端和 CUDA 后端并不等价。即使 API 能跑，也要单独验证精度、性能、内存占用和不支持算子的 fallback 行为。尤其是注意力 kernel，输入 dtype、序列长度、mask 表达方式都可能影响实际表现。

可以这样实践：检测 MPS 并跑一个注意力最小实验

下面的例子不假设你的环境一定已经安装 PyTorch 2.13。它先检查 PyTorch 版本和 MPS 可用性，然后在可用设备上跑一个最小的 scaled dot-product attention。你可以把它作为升级 PyTorch 后的冒烟测试。

运行前需要改动的地方：如果你使用的是 nightly 或指定版本，请按你的安装方式替换 pip install 命令。

python -m venv .venv
source .venv/bin/activate
pip install --upgrade torch
python mps_attention_smoke.py

创建 mps_attention_smoke.py：

import torch
import torch.nn.functional as F

print("torch:", torch.__version__)
print("mps built:", torch.backends.mps.is_built())
print("mps available:", torch.backends.mps.is_available())

device = "mps" if torch.backends.mps.is_available() else "cpu"
dtype = torch.float16 if device == "mps" else torch.float32

batch = 2
heads = 4
seq_len = 128
head_dim = 64

q = torch.randn(batch, heads, seq_len, head_dim, device=device, dtype=dtype)
k = torch.randn(batch, heads, seq_len, head_dim, device=device, dtype=dtype)
v = torch.randn(batch, heads, seq_len, head_dim, device=device, dtype=dtype)

# causal=True 表示第 i 个 token 只能看见 i 及其之前的位置。
out = F.scaled_dot_product_attention(q, k, v, is_causal=True)

print("device:", device)
print("output shape:", tuple(out.shape))
print("output dtype:", out.dtype)
print("finite:", torch.isfinite(out).all().item())

这个例子不是 FlexAttention API 的完整演示，而是一个实用的环境检查：MPS 是否可用、attention 路径是否能在你的机器上稳定执行、dtype 是否符合预期。升级到 PyTorch 2.13 后，可以在此基础上替换为项目里的 FlexAttention 代码路径。

可以这样改造：给注意力实验加设备保护

如果你的项目需要在 Mac、本地 CPU、远端 CUDA 之间切换，建议把设备选择集中起来，不要在模型代码里散落 cuda、mps、cpu 判断。

import torch


def pick_device() -> torch.device:
    if torch.cuda.is_available():
        return torch.device("cuda")
    if torch.backends.mps.is_available():
        return torch.device("mps")
    return torch.device("cpu")


def preferred_attention_dtype(device: torch.device) -> torch.dtype:
    if device.type in {"cuda", "mps"}:
        return torch.float16
    return torch.float32


if __name__ == "__main__":
    device = pick_device()
    dtype = preferred_attention_dtype(device)
    print(f"running on {device} with {dtype}")

这类小封装的好处很朴素：当 PyTorch 新版本扩展了某个后端能力，你只需要在少数入口处调整策略，而不是翻遍模型层代码。

采用建议：先把它放进验证链路

对已经使用 PyTorch 2.x 的团队，PyTorch 2.13 的这项变化适合从开发和验证链路开始引入：

用一组固定输入比较 CPU、MPS、CUDA 的输出误差；
记录不同序列长度下的耗时和峰值内存；
为注意力 mask 写单元测试，特别是 causal、padding、packed sequence 场景；
在性能结论稳定前，不要只凭“能在 MPS 上跑”就替换生产训练路径。

FlexAttention 登上 Apple Silicon 的意义在于降低实验门槛，而不是消除后端差异。把它当作更快的本地反馈工具，再配合远端 GPU 的基准和回归测试，收益会更稳。