如何设计实时流数据去重系统？

How would you design a system to deduplicate streaming data in real time?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: hard

分类: data-engineering

标签: Dedup, Bloom Filter, Windowing

参考答案摘要

可结合 Bloom/Cuckoo Filter 等概率结构、窗口机制与基于时间的状态管理，快速判断是否已出现并丢弃重复数据。

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。