HDFS block 和 InputSplit 有什么区别？它们各自决定什么？

What is the difference between HDFS block and InputSplit?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: medium

分类: HDFS, MapReduce Internals

标签: hdfs-block, inputsplit, mappers, physical, logical

参考答案摘要

HDFS Block vs InputSplit HDFS Block ：数据在 HDFS 中的 物理划分 ，大小固定（文档写 64MB）。 InputSplit ：MapReduce 中对输入文件的 逻辑划分 ，用于控制 mapper 数量；split size 可由用户定义。 关键点 ：如果用户不显式设置 InputSplit 大小，通常会使用 HDFS 默认 block size 作为 sp...

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。