在 Hadoop/Spark 等分布式框架中，分区（Partitioning）的作用是什么？

What is the purpose of partitioning in distributed data processing frameworks like Hadoop or Spark?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: medium

分类: distributed-processing, performance

标签: Partitioning, Parallelism

参考答案摘要

TL;DR 分区将大数据集拆成多个子集，让集群节点并行处理，提高性能与数据本地性，减少数据移动。

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。