Spark 中的 DAG(Directed Acyclic Graph)是什么?有什么作用?
What is Directed Acyclic Graph in Spark?
题目类型: 技术面试题
这是一道技术面试题,常见于澳洲IT公司面试中。
难度: hard
分类: Spark 调度, DAG
标签: dag, vertices, edges, rdd, stage-scheduling, logical-plan, physical-plan
参考答案摘要
定义 DAG(Directed Acyclic Graph) 是一个无环的有向图,由 vertices 和 edges 构成: vertices 表示 RDD edges 表示对 RDD 应用的操作 该图是单向流(unidirectional)。 作用 DAG 是 Spark 的调度层(scheduling layer),实现面向 stage 的调度(stage-oriented scheduli...
本题提供 STAR 原则详细解答和技术解析,登录匠人学院学习中心即可查看完整答案。