Cosmos 3：英伟达把物理世界塞进一个 Transformer

# 登录 NGC（需要英伟达开发者账号，免费注册）
docker login nvcr.io

# 拉取 Cosmos 3 NIM 镜像（具体 tag 以 NGC 目录最新版本为准）
docker pull nvcr.io/nvidia/cosmos/cosmos-3:latest

# 启动推理服务，映射端口 8000
docker run --gpus all \
  -p 8000:8000 \
  -v ~/.cache/cosmos:/opt/nim/cache \
  nvcr.io/nvidia/cosmos/cosmos-3:latest

import requests
import base64
from pathlib import Path

# 读取场景图像（比如一张工厂车间照片）
image_path = Path("factory_floor.jpg")
image_b64 = base64.b64encode(image_path.read_bytes()).decode()

# 构造多模态推理请求
payload = {
    "model": "cosmos-3",
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "一个机械臂需要从左侧货架抓取红色零件，放到右侧传送带上。请生成符合物理规律的操作视频、配套环境音、以及机械臂关节动作序列。"
                },
                {
                    "type": "image_url",
                    "image_url": {
                        "url": f"data:image/jpeg;base64,{image_b64}"
                    }
                }
            ]
        }
    ],
    "max_tokens": 4096,
    "modality_output": ["video", "audio", "action"]  # 指定输出模态
}

response = requests.post(
    "http://localhost:8000/v1/chat/completions",
    json=payload,
    timeout=120  # 视频生成耗时较长
)

result = response.json()

# 解析输出
for choice in result["choices"]:
    content = choice["message"]["content"]
    for item in content:
        if item["type"] == "video":
            # 保存生成的视频文件
            video_bytes = base64.b64decode(item["video"]["data"])
            Path("arm_operation.mp4").write_bytes(video_bytes)
            print(f"视频已保存，时长 {item['video']['duration']}s")
        elif item["type"] == "audio":
            audio_bytes = base64.b64decode(item["audio"]["data"])
            Path("arm_operation.wav").write_bytes(audio_bytes)
            print("环境音已保存")
        elif item["type"] == "action":
            # 动作序列为 JSON 格式，可直接导入机器人控制栈
            actions = item["action"]["trajectory"]
            print(f"动作序列含 {len(actions)} 个时间步")
            print(f"首步关节角度: {actions[0]}")

from cosmos3 import Cosmos3Pipeline  # 假设的 SDK 入口，以实际发布包为准

# 加载模型（自动选择可用 GPU）
pipeline = Cosmos3Pipeline.from_pretrained("nvidia/cosmos-3-open")

# 多模态推理
output = pipeline.generate(
    prompt="一辆轿车在湿滑路面以 60km/h 行驶，突然右转。生成后续 5 秒的车辆轨迹视频与轮胎侧滑声音。",
    image_input="wet_road.jpg",       # 可选：场景参考图
    output_modalities=["video", "audio", "action"],
    physics_constraints={              # 可选：注入额外物理约束
        "friction_coefficient": 0.3,
        "gravity": 9.81
    },
    video_duration=5.0,
    fps=24
)

output.video.save("car_skid.mp4")
output.audio.save("tire_skid.wav")
print(output.action.trajectory[:3])  # 打印前 3 步动作/控制信号