如何搭建同时支持批处理与流处理的数据管道？

How would you set up a pipeline handling both batch and stream workloads?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: hard

分类: data-engineering

标签: Flink, Spark, Kafka

参考答案摘要

可选用 Flink 或 Spark 这类统一引擎。流处理侧通过内存/状态管理与 checkpoint 调参降低延迟，并用 Kafka 做缓冲与容错；批处理侧优化资源分配与调度，尽量在低峰期运行提升效率。

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。