Databricks Certified Associate Developer for Apache Spark

**混淆 `select` 和 `withColumn` 的使用场景** — `withColumn("new_col", expr)` 只加一列或替换同名列，每次 withColumn 都会触发一次 projection plan 重建；生产代码里连续 10 个 withColumn 会让 Catalyst 优化变慢。正确做法是多列变换用 `df.select("*", expr1.alias("a"), expr2.alias("b"))` 或 `df.select([col(c) for c in df.columns] + [new_col_expr])`。考题会给一段循环 withColumn 的代码问性能问题在哪。

**Window Functions 的 `rangeBetween` vs `rowsBetween` 搞错** — `rowsBetween(-6, 0)` 是往前 6 **行**（不管值是什么），`rangeBetween(-6, 0)` 是往前 6 **个单位的值**（通常要先把 orderBy 的列转成数字或秒数）。如果你写 `Window.orderBy("date").rangeBetween(-7, 0)` 直接用 date 列，Spark 3.5 要求你先把 date 转成 unix timestamp 才能用 range — 很多人不知道这个。

**以为 `cache()` 会立刻执行** — `cache()` 是 Transformation，惰性求值。只有在下一个 Action（比如 `count()`、`show()`、`write()`）时才会真的把数据缓存到内存。考题会问"执行完 `df.cache()` 后内存里有数据吗"（没有，要等到 Action 触发）。另外 `cache()` 等价于 `persist(StorageLevel.MEMORY_AND_DISK)`，不是 MEMORY_ONLY — 这是 Spark 2.0+ 改的默认值。

**broadcast join 的阈值和强制使用** — `spark.sql.autoBroadcastJoinThreshold` 默认 10MB（不是 100MB 也不是 1GB），超过这个阈值 Spark 不会自动 broadcast。要强制 broadcast 大表（一般不建议，除非你知道自己在干嘛）要用 `df1.join(broadcast(df2), ...)` — 注意 `broadcast()` 是从 `pyspark.sql.functions` 导入的 hint 函数，不是 DataFrame 方法。考题常给你一个 10GB 的 fact 表 join 一个 8MB 的 dim 表问是否会触发 broadcast（会，因为 dim 表 < 10MB）。

**Transformation vs Action 记反** — 常见陷阱：`count()` 是 Action、`countDistinct()` 是 Transformation（返回一个 Column 对象要包在 `agg()` 里用）、`show()` 是 Action、`explain()` 是 Action（会触发 physical plan 生成）、`collect()` 是 Action 且会把所有数据拉到 Driver（生产环境慎用）、`take(n)` 是 Action 但只拉 n 行、`cache()` 和 `persist()` 都是 Transformation。考题会给一个 10 个方法调用的链问"触发了几次 Job"。

**Structured Streaming 的 trigger 和 output mode 配错** — `complete` output mode 只能和带 aggregation 的 query 搭配（没聚合就没法 complete，会直接报错）；`update` mode 只会输出本次 batch 改变的行；`append` mode 不支持没有 watermark 的聚合（因为 Spark 不知道什么时候可以"最终输出"）。Spark 3.3+ 加的 `availableNow=True` trigger 替代了 `once=True`，区别是 availableNow 会把未处理的所有数据分批处理、once 只处理一次。考题会问"用 complete mode 处理一个没有 groupBy 的流"会怎么样（报错 AnalysisException）。

**UDF 性能陷阱** — Python UDF 会触发 Python <-> JVM 的序列化，性能比内置函数慢 2-10 倍。Spark 2.3+ 引入 Pandas UDF（`@pandas_udf`）用 Arrow 批量传输，性能接近原生。考题会给一段用 Python UDF 写的简单字符串拼接代码让你优化 — 正确答案永远是"用内置的 `concat` 或 `concat_ws` 函数替代 UDF"。面试官常问这个。

**`partitionBy` 和 `repartition` 记混** — `df.write.partitionBy("date")` 是**写文件时**按 date 分文件夹（Hive 风格 partitioning）；`df.repartition(100, "date")` 是**运行时**把 DataFrame 重新 hash 分到 100 个 partition（影响下游 shuffle）。考题会同时给两个方法问"哪个影响磁盘布局"（partitionBy）和"哪个影响 shuffle 并行度"（repartition）。还要注意 `repartition(n)` 会触发 shuffle，`coalesce(n)` 只在 n 小于当前 partition 数时有效且不触发 shuffle。