Prompt 不是写一次就完的

写代码有单元测试，写 Prompt 也需要测试。区别在于 AI 的输出不是二进制对错，而是一个"质量谱" —— 同一个 Prompt 跑 10 次可能出 8 次好结果、2 次差结果。

Prompt 调试的核心问题：怎么知道改了之后是变好了还是变差了？ 靠感觉不行，需要 eval（评估）。

---

搭建 Eval 数据集

Eval 数据集就是一组"输入 + 期望输出"的测试用例。至少 20 条，覆盖核心场景和边界情况：

EVAL_DATASET = [
    {
        "input": "用 Python 写一个二分查找",
        "expected_keywords": ["def binary_search", "left", "right", "mid"],
        "expected_not": ["import numpy", "递归"],  # 不该出现的内容
        "category": "code_generation"
    },
    {
        "input": "这段代码有什么 bug？\ndef add(a, b): return a - b",
        "expected_keywords": ["减法", "a + b", "bug"],
        "category": "code_review"
    },
    {
        "input": "用一句话解释什么是 REST API",
        "max_length": 100,  # 不超过 100 字
        "category": "explanation"
    },
]

数据集的黄金法则：先从生产环境里收集真实的失败案例，不要自己编。用户实际踩过的坑比你想象的边界情况更有价值。

---

自动化评估脚本

import anthropic
import json
client = anthropic.Anthropic()
def run_eval(prompt_template: str, dataset: list[dict]) -> dict:
    results = {"pass": 0, "fail": 0, "details": []}
    for case in dataset:
        response = client.messages.create(
            model="claude-sonnet-4-6",
            max_tokens=2048,
            temperature=0,
            messages=[{"role": "user", "content": prompt_template.format(input=case["input"])}],
        )
        output = response.content[0].text
        # 检查关键词命中
        passed = True
        reasons = []
        for kw in case.get("expected_keywords", []):
            if kw.lower() not in output.lower():
                passed = False
                reasons.append(f"缺少关键词: {kw}")
        for kw in case.get("expected_not", []):
            if kw.lower() in output.lower():
                passed = False
                reasons.append(f"包含禁止内容: {kw}")
        if "max_length" in case and len(output) > case["max_length"]:
            passed = False
            reasons.append(f"超长: {len(output)} > {case['max_length']}")
        results["pass" if passed else "fail"] += 1
        results["details"].append({
            "input": case["input"][:50],
            "passed": passed,
            "reasons": reasons
        })
    results["score"] = results["pass"] / len(dataset) * 100
    return results

跑两个版本的 Prompt，对比 score：

v1_score = run_eval(PROMPT_V1, EVAL_DATASET)
v2_score = run_eval(PROMPT_V2, EVAL_DATASET)
print(f"V1: {v1_score['score']:.0f}%  V2: {v2_score['score']:.0f}%")
V1: 75%  V2: 90% → V2 上线

---

LLM-as-Judge：用 AI 评估 AI

关键词匹配太粗糙？用另一个模型当评委，打分更细腻：

JUDGE_PROMPT = """
评估以下 AI 回答的质量，从 1-5 分打分：
<criteria>
准确性：信息是否正确（2分）
完整性：是否覆盖了关键点（1.5分）
简洁性：是否有废话或冗余（1分）
格式：是否符合要求（0.5分）
</criteria>
<question>{question}</question>
<answer>{answer}</answer>
严格按 JSON 输出：{{"score": 数字, "breakdown": {{"accuracy": 数字, "completeness": 数字, "conciseness": 数字, "format": 数字}}, "reason": "一句话"}}
"""
def llm_judge(question: str, answer: str) -> dict:
    response = client.messages.create(
        model="claude-opus-4-6",  # 用更强的模型当评委
        max_tokens=256,
        temperature=0,
        messages=[{"role": "user", "content": JUDGE_PROMPT.format(question=question, answer=answer)}],
    )
    return json.loads(response.content[0].text)

LLM-as-Judge 的局限：评委本身也可能犯错。重要决策建议抽样 10% 做人工复核，校准 AI 评委的偏差。

---

Prompt 版本管理

生产环境的 Prompt 要像代码一样做版本管理：

prompts/
├── code_review/
│   ├── v1.txt          # 初版
│   ├── v2.txt          # 加了 XML 结构
│   ├── v3.txt          # 优化了 Few-shot 示例
│   └── eval_results.json  # 每个版本的测试分数
├── content_writer/
│   ├── v1.txt
│   └── v2.txt
└── run_eval.py         # 评估脚本

每次改 Prompt 之前先跑 eval，改完再跑。分数降了就回滚，分数升了才部署。这比"我觉得新版更好"靠谱得多。