GPT-5.6 Luna 降价 80%:重新计算推理成本与模型路由

2026-07-31 13 预计阅读时间: 1 分钟
来源: oschina.net AI 摘要 Original link

Disclaimer: This article is an AI-assisted summary. Read it together with the original source when precision matters. The summary may omit context, version differences, or edge cases and is not official documentation.

预计阅读时间:8 分钟

OpenAI 宣布将 GPT-5.6 Luna 的输入价格从每百万 token 1 美元降至 0.2 美元,输出价格从 6 美元降至 1.2 美元,降幅均为 80%。同系列的 Terra 降价 20%;旗舰模型 Sol 没有调整基础价格,但新增 Fast 模式,以 2 倍价格换取约 2.5 倍速度,并保持相同能力水平。

这不只是账单上的数字变化。Luna 的新价格足以改变批处理、检索增强生成、内容抽取和多级模型路由的设计边界。过去为了省 token 而增加的缓存、裁剪与模型切换逻辑,现在需要重新核算复杂度是否仍然值得。

Luna 的成本结构发生了什么

按公布价格计算,Luna 单次调用的成本公式是:

成本(美元)= 输入 token / 1,000,000 × 0.2
             + 输出 token / 1,000,000 × 1.2

假设一个服务每月处理 10 亿输入 token 和 2 亿输出 token:

项目 原价格 新价格
10 亿输入 token $1,000 $200
2 亿输出 token $1,200 $240
月度合计 $2,200 $440

在调用量和 token 分布不变的情况下,每月可以减少 1,760 美元支出。不过,输出 token 仍然比输入 token 贵 6 倍。降价不会消除控制输出长度的必要性:让模型生成冗长解释,依旧比传入更多上下文更容易推高账单。

Sol Fast 买的是延迟,不是更强的答案

Sol 的 Fast 模式提供约 2.5 倍速度,价格则变为 2 倍。根据来源摘要,它改变的是服务速度,而不是模型能力。这使它更适合对尾延迟敏感的交互式请求,而不是默认覆盖所有流量。

可以按请求价值划分模型和模式:

  • 批量抽取、分类、离线摘要:优先评估 Luna。
  • 普通交互和复杂度可控的生成:用 Luna 作为默认入口,并通过评测决定是否升级。
  • 高难度推理:路由到 Sol 标准模式。
  • 实时助手、代码补全或有严格超时约束的高价值请求:考虑 Sol Fast。

Fast 模式的价格是 2 倍、速度约为 2.5 倍,这不代表端到端接口一定快 2.5 倍。网络、排队、工具调用、检索和应用自身处理时间都可能成为瓶颈。上线前应分别测量首 token 时间、完整响应时间以及 P95/P99 延迟。

用真实 token 分布重算账单

下面的 Python 脚本可以直接运行,用来比较 Luna 调价前后的月度成本。执行前,把 monthly_requestsavg_input_tokensavg_output_tokens 改成生产环境的实际数据。

from dataclasses import dataclass


@dataclass(frozen=True)
class Pricing:
    input_per_million: float
    output_per_million: float


def monthly_cost(
    requests: int,
    avg_input_tokens: int,
    avg_output_tokens: int,
    pricing: Pricing,
) -> float:
    input_tokens = requests * avg_input_tokens
    output_tokens = requests * avg_output_tokens
    return (
        input_tokens / 1_000_000 * pricing.input_per_million
        + output_tokens / 1_000_000 * pricing.output_per_million
    )


old_luna = Pricing(input_per_million=1.0, output_per_million=6.0)
new_luna = Pricing(input_per_million=0.2, output_per_million=1.2)

monthly_requests = 2_000_000
avg_input_tokens = 500
avg_output_tokens = 100

old_cost = monthly_cost(
    monthly_requests, avg_input_tokens, avg_output_tokens, old_luna
)
new_cost = monthly_cost(
    monthly_requests, avg_input_tokens, avg_output_tokens, new_luna
)

print(f"旧价格月成本: ${old_cost:,.2f}")
print(f"新价格月成本: ${new_cost:,.2f}")
print(f"每月节省: ${old_cost - new_cost:,.2f}")
print(f"降幅: {(1 - new_cost / old_cost) * 100:.1f}%")

这组参数对应 10 亿输入 token 和 2 亿输出 token,输出应为:

旧价格月成本: $2,200.00
新价格月成本: $440.00
每月节省: $1,760.00
降幅: 80.0%

生产环境不要只代入平均值。更可靠的方法是从日志中分别统计 P50、P95 和 P99 token 数,并把重试、失败请求、工具调用产生的后续轮次一并计入。平均值很容易掩盖少量超长上下文带来的成本尖峰。

降价之后,更值得做分层路由

Luna 成本下降后,可以把模型选择从静态配置改成显式策略。下面是一段可改造的 Python 路由示例,其中 API 地址和模型标识需要替换为实际服务支持的值:

import os
import requests

API_URL = os.environ["OPENAI_API_URL"]
API_KEY = os.environ["OPENAI_API_KEY"]


def choose_model(complexity: str, latency_sensitive: bool) -> str:
    if complexity == "high":
        return "gpt-5.6-sol-fast" if latency_sensitive else "gpt-5.6-sol"
    return "gpt-5.6-luna"


def generate(prompt: str, complexity: str = "normal", latency_sensitive: bool = False):
    model = choose_model(complexity, latency_sensitive)
    response = requests.post(
        API_URL,
        headers={
            "Authorization": f"Bearer {API_KEY}",
            "Content-Type": "application/json",
        },
        json={
            "model": model,
            "input": prompt,
            "max_output_tokens": 500,
        },
        timeout=30,
    )
    response.raise_for_status()
    return response.json()


print(generate("用三点总结这份故障报告。"))

这里的关键不是模型名称判断本身,而是保留路由记录。每次请求至少应记录候选模型、最终模型、输入与输出 token、延迟、重试次数和任务质量评分。否则,团队只能看到总账单下降,却无法判断升级到 Sol 或 Sol Fast 的流量是否产生了相应价值。

不要把价格下降直接等同于架构简化

来源摘要将此次调整归因于 Sol 带来的优化,而非市场竞争或库存处理,但相关技术过程并未完整展开。因此,更稳妥的工程结论是依据已公布的价格和模式变化做决策,不推断底层训练、蒸馏或推理架构的具体实现。

采用新价格时,可以按下面的清单推进:

  • 用生产日志重算 Luna 新旧成本,不只看官方示例。
  • 对 Luna、Sol 和 Sol Fast 使用同一套任务集做质量评测。
  • 单独比较首 token、P95 和 P99 延迟,验证 Fast 模式的实际收益。
  • 为输出 token 设置上限,并监控超长回答和自动重试。
  • 先灰度调整路由比例,再删除现有缓存、裁剪或降级机制。
  • 确认账户、区域和 API 端点中的实际价格与模型可用性。

80% 的降价会显著扩大 Luna 的适用范围,但模型成本只是系统成本的一部分。真正有效的迁移,应同时优化价格、质量和延迟,并用生产数据决定哪些请求值得进入更昂贵的 Sol 路径。


相关推荐