用 20 个 variant 做 A/B 测试有问题吗？

Is there a problem with running an A/B test with 20 different variants?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: medium

分类: Experimentation, Statistics

标签: Power, Multiple Comparisons, Bonferroni, FDR

目标公司: TikTok

参考答案摘要

答案 有潜在问题：1）统计功效被稀释——样本被分到 20 组，每组样本更小，更难检出真实效果；2）多重比较导致假阳性概率上升，需要做校正（如 Bonferroni/FDR）；3）实验与工程复杂度大（分流、埋点一致性、监控、回滚）；4）结果解释更困难（哪个因素真正驱动变化）。更稳妥做法是分阶段测试：先做小范围筛选（2-4 个候选），或用正交/因子实验设计减少组合数，再对最有希望的方案做确认实验。

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。