Spark SQL 是什么？它的核心是什么？

What is Spark SQL?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: hard

分类: Spark SQL, 结构化数据处理

标签: spark-sql, shark, structured-data, sql, schemardd

参考答案摘要

定义 Spark SQL （也称 Shark）是 Spark 中用于 结构化数据处理 的模块，支持对数据执行关系型 SQL 查询。 核心抽象 该模块的核心支持一种不同于普通 RDD 的 RDD： SchemaRDD ，由 row objects 和 schema objects 组成，用于定义每一列的数据类型，类似关系型数据库中的表。

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。