AI Engineer 技能自查清单

每题 0/1/2 分：0 不会；1 半会或照教程做过；2 能独立解释并拿出项目证据。满分 48。0-15=L0，16-27=L1，28-39=L2，40-48=L3。

能力域	自测题	0	1	2	证据 / 下一步
RAG	能否独立设计 chunk size、overlap、metadata？
RAG	能否解释 hybrid search 和 rerank 何时有用？
RAG	能否处理 citation、freshness、document ACL？
RAG	是否维护 retrieval / citation failure cases？
Agent	能否写 tool schema、输入输出和错误码？
Agent	能否让退款、删除、账单修改走人工审批？
Agent	能否处理 retry、timeout、fallback、idempotency？
Agent	能否追踪每次 agent decision 和 tool call？
Eval	能否写 10 题 golden set 和评分点？
Eval	能否区分 retrieval miss、answer drift、citation error？
Eval	能否用同一批案例比较 prompt 版本？
Eval	能否统计 quality、groundedness、latency、cost？
LLMOps	能否记录 model、prompt version、token、latency、cost？
LLMOps	能否给低风险请求做 cache 或 deterministic route？
LLMOps	能否解释 rate limit、rollback、prompt rollout？
LLMOps	能否排查一次成本突然升高？
Safety	能否测试 prompt injection？
Safety	能否避免 PII 出现在回答和日志里？
Safety	能否在 retrieval 和 tool call 前做权限检查？
Safety	能否说清 guardrail 的边界？
Product	能否定义用户场景、验收标准、上线边界？
Product	能否说明什么时候不该用 LLM？
Product	能否把项目改成 JD 匹配的简历 bullet？
Product	能否和 product / data / security 解释 trade-off？