你如何在 Databricks 中设计数据管道？

How do you design data pipelines?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: medium

分类: Databricks, Company: Databricks

标签: Databricks, Data Engineering

参考答案摘要

答案 先明确输入输出与 SLA：数据源（批/流）、目标表模型（Bronze/Silver/Gold）、延迟与成本目标。 实现上：接入数据 → Spark 转换/去重 → 写入 Delta 并做分区与表优化；用 Jobs/Workflows 编排依赖、重试与告警；用质量规则与审计表持续监控。

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。