Alphabet 800 亿美元 AI 基建：对开发者意味着什么

"""
AI 工作负载成本估算器
基于 Google Cloud Vertex AI 公开定价（2024 年参考值）
实际价格请查阅 https://cloud.google.com/vertex-ai/pricing
"""

from dataclasses import dataclass


@dataclass
class GPUConfig:
    name: str          # e.g. "A100-40G", "H100-80G"
    hourly_price: float # USD per GPU per hour (spot)
    vram_gb: int


# Google Cloud 公开参考定价（spot instance，实际以官网为准）
GPU_OPTIONS = {
    "a100_40g":  GPUConfig("A100 40GB",   1.57, 40),
    "a100_80g":  GPUConfig("A100 80GB",   2.48, 80),
    "h100_80g":  GPUConfig("H100 80GB",   3.67, 80),
}


def estimate_training_cost(
    gpu_key: str,
    num_gpus: int,
    training_hours: float,
    days_per_month: int = 20,
) -> dict:
    """估算月度训练成本"""
    gpu = GPU_OPTIONS[gpu_key]
    total_vram = gpu.vram_gb * num_gpus
    single_run_cost = gpu.hourly_price * num_gpus * training_hours
    monthly_cost = single_run_cost * days_per_month

    return {
        "GPU 类型": gpu.name,
        "GPU 数量": num_gpus,
        "总显存 (GB)": total_vram,
        "单次训练成本 (USD)": round(single_run_cost, 2),
        "月度训练成本 (USD)": round(monthly_cost, 2),
        "可训练模型规模参考": _model_size_hint(total_vram),
    }


def estimate_inference_cost(
    gpu_key: str,
    num_gpus: int,
    avg_requests_per_hour: float,
    avg_tokens_per_request: float,
    price_per_million_input_tokens: float = 0.1875,   # Gemini 1.5 Flash 参考
    price_per_million_output_tokens: float = 0.75,
    hours_per_month: float = 720,
) -> dict:
    """估算月度推理成本（托管 API 模式）"""
    monthly_requests = avg_requests_per_hour * hours_per_month
    monthly_input_tokens = monthly_requests * avg_tokens_per_request * 0.6   # 假设 60% input
    monthly_output_tokens = monthly_requests * avg_tokens_per_request * 0.4

    input_cost = (monthly_input_tokens / 1_000_000) * price_per_million_input_tokens
    output_cost = (monthly_output_tokens / 1_000_000) * price_per_million_output_tokens

    return {
        "月度请求总数": int(monthly_requests),
        "月度 input token 数": int(monthly_input_tokens),
        "月度 output token 数": int(monthly_output_tokens),
        "月度推理总成本 (USD)": round(input_cost + output_cost, 2),
    }


def _model_size_hint(total_vram_gb: int) -> str:
    """根据显存给出可训练模型规模粗略参考"""
    if total_vram_gb < 80:
        return "微调 7B 以下模型"
    elif total_vram_gb < 320:
        return "训练 7B-13B 模型 / 微调 70B"
    elif total_vram_gb < 1280:
        return "训练 70B 模型 / 微调 100B+"
    else:
        return "训练 100B+ 大模型"


# ===== 使用示例 =====
if __name__ == "__main__":
    # 场景 1：小团队微调 7B 模型
    print("=== 场景 1：微调 7B 模型 ===")
    result = estimate_training_cost("a100_40g", num_gpus=4, training_hours=6)
    for k, v in result.items():
        print(f"  {k}: {v}")

    # 场景 2：中等规模推理服务
    print("\n=== 场景 2：推理服务（Gemini Flash API）===")
    result = estimate_inference_cost(
        "h100_80g", num_gpus=8,
        avg_requests_per_hour=500,
        avg_tokens_per_request=2000,
    )
    for k, v in result.items():
        print(f"  {k}: {v}")

    # 场景 3：大规模训练
    print("\n=== 场景 3：训练 70B 模型 ===")
    result = estimate_training_cost("h100_80g", num_gpus=64, training_hours=120)
    for k, v in result.items():
        print(f"  {k}: {v}")

=== 场景 1：微调 7B 模型 ===
  GPU 类型: A100 40GB
  GPU 数量: 4
  总显存 (GB): 160
  单次训练成本 (USD): 37.68
  月度训练成本 (USD): 753.6
  可训练模型规模参考: 训练 7B-13B 模型 / 微调 70B

=== 场景 2：推理服务（Gemini Flash API）===
  月度请求总数: 360000
  月度 input token 数: 432000000
  月度 output token 数: 288000000
  月度推理总成本 (USD): 307.8

=== 场景 3：训练 70B 模型 ===
  GPU 类型: H100 80GB
  GPU 数量: 64
  总显存 (GB): 5120
  单次训练成本 (USD): 28190.4
  月度训练成本 (USD): 563808.0
  可训练模型规模参考: 训练 100B+ 大模型