在分布式 Join 操作中如何处理数据倾斜（skewness）？

How can skewness be handled during a join operation in a distributed data processing environment?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: hard

分类: distributed-processing, performance

标签: Data Skew, Join, Salting, Broadcast Join, Repartition

参考答案摘要

TL;DR Join 中的 skewness 可通过以下技术缓解： Key salting ：给 key 加随机前缀/后缀 Broadcast 小表 ：避免 shuffle 重新分区 ：使数据分布更均匀

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。