Spark Driver 是什么?它做什么?
What is Spark Driver?
题目类型: 技术面试题
这是一道技术面试题,常见于澳洲IT公司面试中。
难度: medium
分类: Spark 架构, Driver
标签: spark-driver, master-node, sparkcontext, transformations, actions
参考答案摘要
定义 Spark Driver 是运行在 master 节点上的程序,负责在 RDD 上声明 transformations 与 actions。它会创建 SparkContext 并连接到 Spark Master,然后把 RDD 执行图(RDD graphs)交给 Master(Standalone Cluster Manager)去调度执行。
本题提供 STAR 原则详细解答和技术解析,登录匠人学院学习中心即可查看完整答案。