什么是 Combiner？它有什么作用？

What is a MapReduce Combiner?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: medium

分类: Optimization, MapReduce Internals

标签: combiner, semi-reducer, local-aggregation

参考答案摘要

Combiner 定义 Combiner 也叫半 reducer（semi-reducer），是一个可选组件，用于在 map 端对相同 key 的输出做 本地合并 ，减少传输到 reducer 的数据量。 作用 接受 mapper 输出 对相同 key 做局部聚合 把更小的数据量发送给 reducer

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。