什么是数据倾斜（Data Skew）？如何缓解？

What is data skew in the context of distributed data processing, and how can it be mitigated?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: hard

分类: distributed-processing, performance

标签: Data Skew, Shuffling, Partition Strategy

参考答案摘要

TL;DR 数据倾斜指数据在各分区分布不均导致部分节点处理时间显著更长。可通过 shuffle、定制分区策略、动态负载均衡等方法缓解。

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。