AI 接口要监控哪些指标？

本章 3 类必备：(1) 请求/响应摘要 —— prompt 类型、token 数、耗时、成功率（脱敏后）；(2) 错误与重试 —— 超时、配额、解析错误要有指标和告警；(3) 模型/版本 —— 记录使用的模型与温度等参数，便于不同版本对比效果。少了模型/版本字段，A/B 升级模型后没法回溯到底是哪个改动导致质量变化。

AI 接口的基础 guardrails 该写哪几条？

本章模板要 3 条防护：(1) 请求超过 60s 超时并降级为默认文案；(2) 响应为空或格式错误时返回安全兜底；(3) 对外部输入先做长度和敏感词过滤。这 3 条都没有，AI 服务一遇到长 input、模型抽风或 prompt injection，会直接把脏数据 / 错误甚至模型胡话推给用户。

怎么用 AI 帮我做“红队”安全检查？

让 AI 生成“攻击提示列表” —— prompt injection、越权、提示泄漏 3 类，每类配防御策略。再把 CI 加上简单的敏感词扫描或 schema 校验，遇到异常输出直接拒绝。AI 既是被攻击对象，也是攻击点子的来源 —— 用它给自己出题，比人工想攻击向量覆盖更广。

AI 服务的日志怎么处理才能既能 debug 又不泄露 PII？

本章 3 条数据最小化原则：(1) 不写入用户敏感输入；(2) 必要字段先脱敏才入日志；(3) 控制日志留存周期并标注数据用途。debug 用的不是原始 user input，是 prompt type + token count + 模型/版本 + error code 这类元数据 —— 足够定位问题但不暴露隐私。

练习“生成可观测性仪表盘需求”该交付什么？

本章练习要 3 件产出：(1) 指标列表（请求量、token、延迟、成功率、错误分布）；(2) 告警阈值（多少 ms 触发延迟告警、错误率超过多少要 page）；(3) top K 错误示例采样方式 —— 怎么从大量请求里抽典型错误。最后再给一个简化的日志 schema 把字段固定下来。

可观测性与 Guardrails

⏱️ 18分钟

监控 prompt/响应、超时重试、红队防护

💎

会员专享内容

升级会员，解锁全部学习资源

✓完整章节内容
✓视频教程
✓代码示例
✓学习社群