什么是 Partitioner？它在 MapReduce 中的作用是什么？

What is Partitioner and its usage?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: medium

分类: Partitioning, MapReduce Internals

标签: partitioner, hashpartitioner, reducer, key-distribution

参考答案摘要

Partitioner 是什么？ Partitioner 用于控制 mapper 输出的 key/value 会被发送到哪个 reducer。它通过哈希函数（或自定义逻辑）把 key 分配到不同 partition，从而决定 reducer 的接收范围。 关键点 partition 数量 = reducer 数量（numReduceTasks）。 默认实现： HashPartitioner 。 默...

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。