Apache Mahout 与 Spark MLlib 的主要区别是什么？为什么迭代算法在 Spark 上更快？请用 overhead 示例解释。

What is the difference between Apache Mahout and Spark MLlib? Explain using overhead example.

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: hard

分类: Mahout vs MLlib, Distributed ML Performance

标签: overhead, iterations, startup-cost, spark, mapreduce

参考答案摘要

Mahout vs MLlib：根本差异 核心差异来自 底层执行框架 ： Mahout ：基于 Hadoop MapReduce MLlib ：基于 Spark 更具体来说，差异体现在 每个 job/每次迭代的启动 overhead 。 单个 MR job 的情况 如果一个 ML 算法可以映射为单个 MR job，那么差异主要在启动开销：Hadoop MR 可能需要几十秒，Spark 可能约 1 ...

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。