Hive 中如何编写自定义 SerDe(Serializer/Deserializer)?
How do we write our own custom SerDe in Hive?
题目类型: 技术面试题
这是一道技术面试题,常见于澳洲IT公司面试中。
难度: hard
分类: Hive 扩展开发, Hive SerDe
标签: Hive, SerDe, Deserializer, DynamicSerDe, Thrift DDL, RegexDeserializer
参考答案摘要
核心答案 在 Hive 中,自定义 SerDe 通常用于支持特定的数据格式。多数情况下,用户更倾向于仅编写 Deserializer ,因为他们需要读取自定义格式的数据,而不是写入该格式。 常见做法 只写 Deserializer :例如 RegexDeserializer 可通过配置参数 regex 和列名列表来解析数据。 如果 SerDe 需要支持 DDL(参数化列名和列类型),通常会使用 D...
本题提供 STAR 原则详细解答和技术解析,登录匠人学院学习中心即可查看完整答案。