AI 效果衡量与治理
AI Governance 与 Metrics
AI workflow 上线后，最怕的不是一开始效果一般，而是没人知道它到底有没有变好。没有 governance 和 metrics，很多 team 会在“感觉 AI 挺有用”和“月底成本怎么这么高”之间来回摆。
我们更建议一开始就把 success metric、audit 方法和 rollback 条件写清楚。这样内容不只更像真人经验总结，对 SEO 也更有价值，因为它回答的是用户真实会搜的问题。
先定义：什么叫这个 workflow 做得好
如果目标没定义清楚，后面所有优化都容易跑偏。
一个 AI workflow 通常至少要回答 4 个问题：
- 更快了吗？
- 更准了吗？
- 更省了吗？
- 更稳了吗？
4 类最值得追的 Metrics
| Metric 类别 | 看什么 | Example |
|---|---|---|
| Speed | latency、处理时长、first response time | 首次回复从 20 分钟降到 5 分钟 |
| Quality | accuracy、返工率、满意度 | AI summary 被人工改写比例 |
| Cost | 每次 request 成本、token 成本、节省工时 | 每周节省多少 manual effort |
| Control | human handoff rate、error rate、policy hit rate | 高风险 case 自动转人工比例 |
不要一上来就追十几项 metric。
先追这 4 类，再逐步细化。
一个够用的 Dashboard 结构
Weekly AI Dashboard
-> total runs
-> success rate
-> avg latency
-> avg cost per run
-> human handoff rate
-> top failure reasons
这类 dashboard 不一定非要复杂 BI system。
很多 team 用 Google Sheet、Notion database、Metabase 或内部 admin panel 就能先跑起来。
埋点应该记什么
如果埋点不完整，后面你根本没法知道问题出在 prompt、tool 还是 model。
建议至少记录：
- workflow name
- model / version
- prompt ID 或 template version
- input length / output length
- latency
- success / failure
- failure reason
- 是否转人工
如果涉及 sensitive data，记 metadata 就好，不要把 raw content 全量写进 log。
Audit 不只是抽检，还要能追 root cause
很多 team 说自己有 review，其实只是偶尔看看结果。
真正有用的 audit 至少要回答：
- 错的是 model，不是 prompt 吗？
- 是 retrieval 召回错了，还是 output format 不稳定？
- 是 workflow 设计问题，还是用户 input 太脏？
一个简单的 audit 表
| Sample | 问题类型 | Root cause | 修复动作 |
|---|---|---|---|
| 001 | summary 漏重点 | prompt 没要求 action items | 更新 template |
| 014 | cost 异常升高 | context 太长 | 做 trimming / chunking |
| 023 | tone 不稳 | 没有 tone guide | 增加 style instruction |
| 031 | 误发高风险内容 | 没有 approval gate | 增加 human handoff |
什么时候该切 model，什么时候先改 prompt
不是所有问题都靠换更强 model 解决。
先改 prompt / workflow 的情况
- output 格式不稳定
- 少写了 audience、tone、constraint
- context 太乱
- 没有明确 success criteria
再考虑换 model 的情况
- 任务本身推理强度更高
- 长文档处理不稳定
- multi-step workflow 错误率明显偏高
- 同样 prompt 下，当前 model 一直掉分
一句话：先修 design，再修 model selection。
Governance 里最重要的是 Handoff Rule
你必须明确：哪些情况 AI 可以自动完成，哪些情况必须 handoff 给人。
| 场景 | 建议 |
|---|---|
| 普通 internal summary | 可自动完成 |
| 对外 email draft | 建议 human review |
| 高风险分类或投诉 case | 必须 handoff |
| 合同、财务、政策解释 | 必须 handoff |
| 低置信度 output | 自动转人工 |
没有 handoff rule 的 automation，通常都不够稳。
周报和复盘应该怎么写
一个有用的 weekly report，不要只是“本周调用量增长 20%”。
更有价值的是这类结构：
- 哪些 workflow 在提升
- 哪些 workflow 出现异常
- 成本为什么变化
- 下周准备改什么
Example 复盘框架
Issue:
客户 support summary 漏掉 escalation 标记
Root cause:
prompt 没要求输出 risk level
Fix:
新增字段 `risk_level`
Validation:
回放 20 条 sample，漏标率下降
SEO 视角下，这页为什么重要
这类内容的搜索 intent 很明确：
AI metrics 怎么看AI workflow governance checklistAI automation 如何做 auditAI 成本和质量怎么平衡
所以比起空泛讲“治理很重要”，更应该给出 dashboard 结构、埋点字段、handoff rule 和复盘框架。这类具体内容更容易获得搜索引擎和用户信任。
Practice
为你现在最常用的一个 AI workflow，先写出：
- 1 个 speed metric
- 1 个 quality metric
- 1 个 cost metric
- 1 个 handoff rule
再决定你下周要 review 哪 10 条 sample。做到这一步，governance 才开始真正起作用。