Hadoop 能跳过坏记录（bad records）吗？如何实现？

Can you skip the bad records in Hadoop? How?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: medium

分类: MapReduce, 数据处理健壮性

标签: skipbadrecords, map-tasks, fault-handling, data-quality

参考答案摘要

TL;DR 可以。Hadoop 支持在处理 map 输入时跳过坏记录，这个功能由应用通过 SkipBadRecords 类管理，常用于 map 任务因某些输入记录导致失败时跳过这些记录继续处理。 实现方式 使用 SkipBadRecords 类 当 map task 因输入记录或 map 函数故障失败时，可跳过坏记录 注意 失败可能来源于 map 函数处理异常，因此需要应用层进行相应控制。

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。