什么是数据管道（Data Pipeline）？在 Databricks 里如何创建？

What are data pipelines, and how do you create them?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: medium

分类: Databricks, Company: Databricks

标签: Databricks, Pipelines

参考答案摘要

答案 数据管道是把数据从来源抽取、清洗、转换、汇总并加载到目标存储/服务的一系列步骤（ETL/ELT）。 在 Databricks 中通常用 Notebook/代码编写转换逻辑（Spark SQL / DataFrame），用 Delta Lake 作为可靠存储层，再用 Jobs/Workflows 进行调度、参数化、重试与告警；数据源可通过内置连接器/JDBC/云存储接入。

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。