用 Codex 把客户需求直接变成代码：Braintrust 的工程实践

# 安装 Codex CLI
npm install -g @openai/codex

# 给 Codex 一个任务，让它自主完成
codex "为 Braintrust 的 evaluator 模块添加一个支持 JSON schema 校验的新 evaluator，参考现有 StringMatch evaluator 的结构"

## 任务：添加 JSON Schema 校验 Evaluator

### 背景
Braintrust 的 evaluator 模块目前支持 StringMatch、NumericMatch 等类型。
客户请求：在评估流水线中校验 LLM 输出是否符合给定的 JSON Schema。

### 约束
- 新 evaluator 类名：JsonSchemaMatch
- 继承自 BaseEvaluator，遵循现有接口签名
- 输入：value（待校验的字符串或 dict），schema（JSON Schema dict）
- 输出：score 为 1.0（合规）或 0.0（不合规），metadata 包含校验错误详情
- 使用 python-jsonschema 库做校验
- 必须通过 tests/evaluators/test_json_schema_match.py 中的测试

### 参考文件
- src/evaluators/string_match.py（现有 evaluator 结构）
- src/evaluators/base.py（基类定义）
- tests/evaluators/test_string_match.py（测试风格参考）

# experiment_json_schema_eval.py
# 前置：pip install braintrust jsonschema

import braintrust
from autoevals.string import StringMatch  # 现有 evaluator，用于对比

# 假设 Codex 已生成 JsonSchemaMatch evaluator，位于 src/evaluators/json_schema_match.py
from src.evaluators.json_schema_match import JsonSchemaMatch

# 定义测试数据集：LLM 输出 vs 期望的 JSON Schema
dataset = [
    {
        "input": '{"name": "Alice", "age": 30}',
        "schema": {
            "type": "object",
            "required": ["name", "age"],
            "properties": {
                "name": {"type": "string"},
                "age": {"type": "integer"}
            }
        },
        "expected": 1.0,  # 应该合规
    },
    {
        "input": '{"name": "Alice", "age": "thirty"}',  # age 不是整数
        "schema": {
            "type": "object",
            "required": ["name", "age"],
            "properties": {
                "name": {"type": "string"},
                "age": {"type": "integer"}
            }
        },
        "expected": 0.0,  # 应该不合规
    },
    {
        "input": '{"name": "Bob"}',  # 缺少 required 字段 age
        "schema": {
            "type": "object",
            "required": ["name", "age"],
            "properties": {
                "name": {"type": "string"},
                "age": {"type": "integer"}
            }
        },
        "expected": 0.0,
    },
]

# 创建 Braintrust 实验
experiment = braintrust.init(
    project="codex-output-validation",
    name="json-schema-evaluator-v1",
    dataset=dataset,
)

# 用 Codex 生成的 evaluator 评估每条数据
for item in dataset:
    result = JsonSchemaMatch().eval(
        input=item["input"],
        schema=item["schema"],
    )
    experiment.log(
        input=item,
        output=result.score,
        expected=item["expected"],
        metadata=result.metadata,  # 包含校验错误详情
    )

# 查看实验结果摘要
print(experiment.summarize())

# 先让 Codex 生成 evaluator 代码
codex "按照上面的任务描述，生成 JsonSchemaMatch evaluator"

# 然后跑评估实验
python experiment_json_schema_eval.py