如何评估一个上线后的机器学习模型的 ROI？

How would you evaluate the ROI of a machine learning model deployed in production?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: hard

分类: problem-solving

标签: ROI, A/B Testing, Business Impact

参考答案摘要

答案 ROI 评估核心是“收益 − 成本”： 成本 ：数据采集/标注、模型研发、人力成本、算力与存储、上线部署、监控告警、维护与重训成本。 收益 ：增收（转化率提升等）、降本（人工替代、流程提效）、风险降低（欺诈/坏账减少）、客户满意度与留存提升等。 最好在明确的时间窗口内计算，并通过 A/B 测试或灰度发布等方式归因模型带来的 uplift。

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。