用 LLM Eval 做实验：漏斗而非一刀切

pip install openai pydantic

import openai
import json
from pydantic import BaseModel
from typing import List

client = openai.OpenAI()  # 需设置 OPENAI_API_KEY 环境变量


# ---- Pydantic 模型定义，约束 LLM 输出格式 ----

class QuickJudgeResult(BaseModel):
    """广口层：快速判断"""
    obviously_bad: bool  # 是否明显劣质
    reason: str

class DetailedScoreResult(BaseModel):
    """细筛层：多维度评分"""
    relevance: float  # 0-1，与用户兴趣的相关性
    coherence: float  # 0-1，逻辑连贯性
    specificity: float  # 0-1，是否具体而非泛泛而谈
    overall_pass: bool  # 综合是否通过
    notes: str


# ---- 第一层：广口过滤 ----

def funnel_layer_quick(candidate: str, user_context: str) -> bool:
    """返回 True 表示通过（保留），False 表示明显劣质（剔除）"""
    prompt = f"""你是一个快速质检员。判断以下音乐推荐理由是否【明显劣质】。
明显劣质的标准：包含事实错误、完全无关、或逻辑混乱到无法理解。
如果只是"不够精彩"但不算明显劣质，请判为 NOT obviously_bad。

用户兴趣：{user_context}
推荐理由：{candidate}

请严格按 JSON 格式输出：{{"obviously_bad": bool, "reason": str}}"""

    response = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": prompt}],
        response_format={"type": "json_object"},
        temperature=0,
    )
    result = QuickJudgeResult(**json.loads(response.choices[0].message.content))
    print(f"[广口层] obviously_bad={result.obviously_bad} | {result.reason}")
    return not result.obviously_bad


# ---- 第二层：细筛评分 ----

def funnel_layer_detailed(candidate: str, user_context: str) -> bool:
    """多维度评分，返回 True 表示通过"""
    prompt = f"""你是一个资深音乐编辑，对推荐理由做精细评估。
从三个维度打分（0到1）：
- relevance：与用户兴趣的相关程度
- coherence：逻辑连贯、表述清晰的程度
- specificity：是否给出了具体理由而非泛泛而谈

综合三个维度，overall_pass 为 True 表示可以上线，False 表示需要改进。

用户兴趣：{user_context}
推荐理由：{candidate}

请严格按 JSON 格式输出：
{{"relevance": float, "coherence": float, "specificity": float, "overall_pass": bool, "notes": str}}"""

    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[{"role": "user", "content": prompt}],
        response_format={"type": "json_object"},
        temperature=0,
    )
    result = DetailedScoreResult(**json.loads(response.choices[0].message.content))
    print(f"[细筛层] rel={result.relevance:.2f} coh={result.coherence:.2f} "
          f"spec={result.specificity:.2f} pass={result.overall_pass} | {result.notes}")
    return result.overall_pass


# ---- 漏斗主流程 ----

def eval_funnel(candidates: List[str], user_context: str) -> dict:
    """三层漏斗：广口 → 细筛 → 人工候选"""
    layer1_pass = []
    layer1_fail = []
    for c in candidates:
        if funnel_layer_quick(c, user_context):
            layer1_pass.append(c)
        else:
            layer1_fail.append(c)

    layer2_pass = []
    layer2_fail = []
    for c in layer1_pass:
        if funnel_layer_detailed(c, user_context):
            layer2_pass.append(c)
        else:
            layer2_fail.append(c)

    return {
        "total": len(candidates),
        "layer1_pass": len(layer1_pass),
        "layer1_fail": len(layer1_fail),
        "layer2_pass": len(layer2_pass),
        "layer2_fail": len(layer2_fail),
        "human_review_needed": layer2_pass,  # 这些进入人工精检
    }


# ---- 运行示例 ----

if __name__ == "__main__":
    user_interest = "喜欢独立摇滚和后朋克，最近在听 The National 和 Interpol"

    candidates = [
        "推荐 Arcade Fire——他们的编曲层次感和 The National 的沉稳叙事有相似之处，适合你从后朋克过渡到更丰富的独立摇滚。",
        "推荐周杰伦——他的音乐很受欢迎，你一定会喜欢。",  # 明显不相关
        "推荐 Joy Division——如果你喜欢 Interpol，那 Joy Division 是必须听的，Interpol 的声音深受他们影响。",  # 相关且具体
        "推荐一些摇滚音乐——摇滚很棒，你应该试试。",  # 相关但极其泛泛
        "推荐 Radiohead——他们的实验性风格可能让你耳目一新，尤其是 OK Computer 这张专辑的氛围构建。",  # 相关且具体
    ]

    result = eval_funnel(candidates, user_interest)
    print("\n===== 漏斗结果 =====")
    print(f"总输入: {result['total']}")
    print(f"广口层通过: {result['layer1_pass']} / 剔除: {result['layer1_fail']}")
    print(f"细筛层通过: {result['layer2_pass']} / 剔除: {result['layer2_fail']}")
    print(f"需人工审核: {len(result['human_review_needed'])} 条")
    for i, c in enumerate(result["human_review_needed"], 1):
        print(f"  {i}. {c}")

export OPENAI_API_KEY="sk-..."
python eval_funnel.py

[广口层] obviously_bad=False | 与用户兴趣相关，理由具体
[广口层] obviously_bad=True | 与用户兴趣完全无关
[广口层] obviously_bad=False | 与后朋克兴趣相关
[广口层] obviously_bad=False | 虽然泛泛但不算明显劣质
[广口层] obviously_bad=False | 相关且具体

===== 漏斗结果 =====
总输入: 5
广口层通过: 4 / 剔除: 1
细筛层通过: 3 / 剔除: 1
需人工审核: 3 条