AI 推理正在从单纯追求峰值算力，转向同时考察吞吐量、延迟和能效。OpenAI 的定制推理芯片 Jalapeño 初步结果显示，它面向现代模型提供了更快、更高效的推理能力：在提升吞吐量的同时降低延迟和功耗。
推理硬件的竞争指标正在变化
对在线 AI 服务来说，"每秒能处理多少请求"和"单个请求要等多久"同样重要。批处理可以提高吞吐量，却可能增加排队时间；功耗降低则会直接影响数据中心的运行成本和散热设计。
Jalapeño 的价值正在这几个指标的交叉处体现：更高吞吐量意味着单位时间内可以完成更多推理任务，更低延迟有助于改善交互体验，而更高能效则让大规模部署更容易控制成本。
这里需要区分两件事：定制芯片的结果不能自动代表所有模型、输入长度或服务负载下都会获得相同收益。实际评估仍应使用目标模型和真实流量进行基准测试。
从基准数字转向完整服务画像
评估推理平台时，可以同时记录以下数据：
- 吞吐量：每秒生成的 token 数，或每秒完成的请求数。
- 延迟：重点观察 p50、p95 和 p99，而不只是平均值。
- 能效：每个请求或每百万 token 消耗的能量。
- 稳定性：在不同并发度和输入长度下，性能是否明显波动。
一个只展示峰值吞吐量的报告，可能掩盖高并发下的尾延迟；一个只展示单次请求延迟的测试，也可能没有反映硬件的利用率。更可靠的比较方式，是将模型、精度、上下文长度、输出长度、并发度和功耗测量方式固定下来。
可以这样实践：建立轻量推理基准
下面的 Python 示例不依赖特定芯片 SDK，适合先验证测试方法。将 INFERENCE_URL 替换为实际服务地址，将请求体字段改成目标 API 的格式即可运行。
import os
import statistics
import time
import requests
URL = os.getenv("INFERENCE_URL", "http://localhost:8000/v1/infer")
REQUESTS = int(os.getenv("REQUESTS", "20"))
payload = {
"model": os.getenv("MODEL", "target-model"),
"input": "Summarize the role of efficient AI inference in one sentence.",
"max_tokens": 64,
}
latencies_ms = []
for _ in range(REQUESTS):
started = time.perf_counter()
response = requests.post(URL, json=payload, timeout=60)
response.raise_for_status()
latencies_ms.append((time.perf_counter() - started) * 1000)
ordered = sorted(latencies_ms)
def percentile(values, fraction):
index = min(len(values) - 1, int(len(values) * fraction))
return values[index]
print(f"requests: {len(latencies_ms)}")
print(f"average_ms: {statistics.mean(latencies_ms):.1f}")
print(f"p50_ms: {percentile(ordered, 0.50):.1f}")
print(f"p95_ms: {percentile(ordered, 0.95):.1f}")
print(f"p99_ms: {percentile(ordered, 0.99):.1f}")
运行前安装依赖：
python -m pip install requests
INFERENCE_URL=http://localhost:8000/v1/infer MODEL=target-model REQUESTS=100 python benchmark.py
要比较不同推理硬件，可以在相同模型配置下分别运行这组测试，并额外记录服务端报告的 token 吞吐量和设备功耗。这个示例只测量客户端端到端延迟，不应替代芯片级性能分析。
采用定制推理芯片时要检查什么
定制硬件通常能针对目标工作负载做更深的优化，但也可能带来软件适配、模型兼容性和部署迁移成本。实际采用前，建议确认：
- 目标模型和量化精度是否得到支持。
- 推理框架、编译器和监控工具是否覆盖现有生产流程。
- p95/p99 延迟是否在真实并发度下仍有优势。
- 功耗优势是否在完整系统层面成立，而不只是芯片单点指标。
- 发生容量扩展、版本升级或故障切换时，运维流程是否清晰。
Jalapeño 的初步结果传达了一个明确方向：AI 推理的硬件优化不应只追求更快的单次计算，还要把吞吐量、延迟和能效放在同一张评估表里。对团队而言，最稳妥的下一步是用自己的模型和流量复现这些指标，再决定是否迁移到新的推理平台。