使用 Spark 有哪些缺点或局限？

Illustrate some demerits of using Spark.

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: hard

分类: Spark Limitations, Trade-offs

标签: memory, learning-curve, serialization, update-limitations, micro-batch, structured-streaming

参考答案摘要

Spark 的一些缺点/局限 内存要求高 ：in-memory 处理会消耗大量 RAM，内存不足会导致 OOM、task 失败或 GC 压力。 学习曲线较陡 ：需要理解 Spark 架构、API 与分布式计算思想。 序列化开销 ：序列化/反序列化可能带来 CPU 与性能损耗。 Spark SQL 的 UPDATE 限制 ：例如不支持某些子查询或 UPDATE FROM 等情况（按原文描述）。 不适...

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。