你常用哪些 Databricks/Spark 性能优化策略？

What strategies do you use for performance optimization?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: hard

分类: Databricks, Company: Databricks

标签: Databricks, Performance

参考答案摘要

答案 常用策略包括：优先用 DataFrame/Spark SQL（便于 Catalyst/Tungsten 优化）；合理分区与文件布局（partition、Z-ORDER/小文件治理）；对热点数据做 cache/persist；优化 join（broadcast/盐化处理 skew）；控制 shuffle 分区数与并行度。 结合 Spark UI 观察 spill、GC、shuffle 指标，再...

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。