HDFS block 和 InputSplit 的主要区别是什么？

Explain the major difference between HDFS block and InputSplit.

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: hard

分类: HDFS, MapReduce 原理

标签: hdfs, block, inputsplit, mapreduce, inputformat, recordreader, mapper

参考答案摘要

TL;DR HDFS block 是数据的 物理存储单位 ； InputSplit 是 MapReduce 用于处理的 逻辑数据切分 。InputSplit 充当 block 与 mapper 之间的桥梁，决定每个 mapper 处理哪些数据。 核心区别 HDFS block（物理） ：文件在 HDFS 中实际被切成的存储块。 InputSplit（逻辑） ：MapReduce 读取数据时使用的逻...

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。