20 个 variant 的 A/B 测试出现大量显著结果（significant）是否可疑？为什么？

Is there anything suspicious about significant results from an A/B test with 20 variants?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: medium

分类: Experimentation, Statistics

标签: False Positives, SRM, Peeking, Replication

目标公司: TikTok

参考答案摘要

答案 是的，需要警惕多重比较（multiple comparisons）：当你同时做很多对比，即便所有 variant 都没真实效果，也会因为随机波动出现一些“显著”。我会检查：1）是否做了显著性校正（FDR/Bonferroni）；2）是否存在 peeking（中途频繁看结果）、SRM（样本比例偏差）、或埋点口径不一致；3）效果大小是否合理、置信区间是否稳定；4）是否在关键分群上可复现。通常做法...

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。