不做标准 A/B 测试，如何衡量类似 Stories 的功能是否成功？

How would you measure the success of a product feature like Facebook stories without using standard A/B testing?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: hard

分类: Product Analytics, Experimentation

标签: No AB Test, Cohort, DID, Time Series

目标公司: TikTok

参考答案摘要

答案 我会用“多方法交叉验证”替代单一 A/B：先定义北极星指标（创作量、消费量、留存、分享/互动、创作者活跃等），再做分群与队列分析（新老用户、创作者分层）；用时间序列/中断分析看上线前后趋势变化，并结合差分中的差分（DID）或合成对照（synthetic control）降低外部因素干扰；如果有分批灰度/地区分发，也可用 geo 或 rollout 对照。最后补充定性信号（问卷、访谈、NPS、...

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。