实时分析中 Avro/Parquet/JSON 的取舍是什么？如何选型？

Trade-offs between Avro, Parquet, and JSON for real-time analytics; how to choose?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: hard

分类: data-engineering

标签: Avro, Parquet, JSON

参考答案摘要

Avro 紧凑且擅长 schema 演进，适合消息流/Kafka；Parquet 为列式格式，压缩与查询性能优秀，适合 OLAP 存储；JSON 可读性强但体积大、解析慢。选型要综合 schema 演进、压缩率与处理速度；常见做法是流上用 Avro、落湖后转 Parquet 做长期分析。

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。