AI Ethics & Compliance：安全与合规

AI product 的合规问题，最大风险不是“忘了写免责声明”，而是团队默认觉得这些事可以后面再补。现实里，很多 AI feature 一旦先上线再补 safety，代价会非常高，因为风险不是只出现在 output，而是从 data collection、prompt design、tool access 到 user expectation 全链路都在扩散。

所以这页不讲法律条文背诵，而是从 PM 视角讲一套更实用的 AI safety 和 compliance thinking。

---

先说结论：AI 合规不是一个 review step，而是一条 design constraint

更实际的看法是：

• 不是上线前才审一次
• 不是法务一个 team 的事
• 不是只管敏感行业

任何生成式 AI product，只要涉及 user input、knowledge output、automation 或内容分发，就已经有合规和 safety 风险。

---

PM 最需要先识别的 4 类风险

这 4 类风险里，最危险的不是“概率最高”的那个，而是“发生一次就很贵”的那个。

---

风险不是统一处理，要按 use case 分级

一个很实用的分类法：

风险分级做不清，后面所有 guardrail 都会太松或太重。

---

Guardrail 应该前中后都做

更完整的 guardrail 不是只过滤 output，而是 3 层：

只做 output moderation，通常不够。

---

Privacy 问题，往往不是“泄露”，而是“默认收太多”

PM 在设计 AI feature 时，很容易把“多给一点上下文，模型效果更好”当成默认策略。
但这常常会直接把数据边界做坏。

更稳的原则还是 data minimization：

如果一个字段不是这次任务必需，就先别送进去。

---

Prompt Injection 和 Tool Abuse 不是只有工程师要管

PM 也需要知道产品层面会发生什么。

典型问题包括：

• 用户诱导模型忽略原有规则
• 通过 tool calling 越权访问数据
• 借你的 product 生成违规内容

这意味着在设计 tool-enabled AI feature 时，你不只是在设计“能做什么”，也在设计“绝对不能做什么”。

---

Source Grounding 是 trust 的关键

在中高风险场景下，光让模型“回答得像对的”完全不够。
更稳的方向是：

• 能引用 source 就引用
• 不确定就明确说不确定
• 超出边界就拒答或转人工

这类机制会牺牲一点“丝滑感”，但通常能换来更长期的 trust。

---

Compliance Review 应该问什么

上线前，PM 至少应该能回答：

1. 这个功能最坏会错到什么程度
2. 哪类数据进入了模型
3. 用户是否知道 AI 在参与
4. 是否需要提供 source、disclaimer 或人工升级路径
5. 出现 bad output 后怎么处置和追踪

如果这 5 个问题都还模糊，说明合规设计还没完成。

---

最容易出事的 4 种心态

AI PM 最该避免的，就是把安全问题当成“以后再说”的 technical debt。

---

一套够用的 PM Checklist

• 这个 use case 属于低、中还是高风险
• 输入里有没有不必要的敏感数据
• output 错了会带来什么真实后果
• 有没有 source / disclaimer / escalation path
• 有没有 bad case logging 和 rollback 机制

这套 checklist 不复杂，但很实用。很多事故，提前过一遍就能挡掉。

---

Practice

拿你正在做的一个 AI feature，写下这 4 行：

1. 最坏情况下它会怎么伤害用户或业务
2. 哪些数据其实不该被送进模型
3. 哪些问题模型应该拒答
4. 错误输出后谁来发现、谁来处理

你把这 4 行写清楚，合规设计基本才算开始。

---

把风险写成产品团队能执行的 Risk Register

继续注册实验。团队不能只写“注意隐私”，而要把风险、控制和停机责任放进同一张表：

风险等级不能只看发生概率，还要看伤害严重度、可发现性和是否可逆。

最终 Go / Hold / No-Go Gate

GO：关键控制已验证，Owner 在位，监测与回滚可用
HOLD：风险可控但证据不完整，限制流量并补验证
NO-GO：存在高影响且不可接受的未缓解风险

“法务看过了”不是完成标准。产品团队仍要知道系统收什么数据、会做什么决定、什么时候转人工、出了问题谁能按下停止按钮。

上线前完成标准

• 每个高影响风险都有预防、监测、响应和 Owner
• 用户能知道 AI 在参与，以及结果是否会被保存或执行
• 高风险决定保留人工复核与申诉路径
• 日志足以追踪事故，但不额外收集无关敏感数据
• 团队演练过停止、回滚、通知和坏样本保存流程
• Go / Hold / No-Go 决定连同未解决项被记录

本章交付物

完成一份 AI Product Launch Dossier：Research Decision Brief、MVP Evidence Pack、Release Contract、Metric Decision Pack 和 Risk Register。它不是为了让文档变多，而是让团队能解释：为什么做、证据是什么、何时停止、谁对结果负责。