什么是 Combiner？它在 MapReduce 中有什么作用？

What is a Combiner?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: medium

分类: MapReduce, 分布式计算优化

标签: combiner, mapreduce, reducer, local-reduction, network-optimization

参考答案摘要

TL;DR Combiner 是 reducer 的“迷你版”，用于在 mapper 输出后做 本地聚合（local reduction） ，从而减少传输到 reducer 的数据量，提高 MapReduce 效率。 工作方式 Mapper 将输出发送给 Combiner Combiner 在本地执行聚合/压缩 再将更少的数据发送到 Reducer 好处 减少网络传输量，提高 MapReduce ...

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。