什么是 Hadoop 的 distributed cache？它有什么好处？

What is distributed cache? What are its benefits?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: medium

分类: MapReduce, 性能优化

标签: distributed-cache, mapreduce, cache-files, datanode, read-only, timestamp

参考答案摘要

TL;DR Distributed cache 是 MapReduce 提供的缓存服务，用于在作业运行时把文件缓存到各个 DataNode（系统与内存中），让 mapper/reducer 更方便地读取这些文件。 它做什么？ 为某个 job 缓存文件 在每个 DataNode 上都可访问（系统 + 内存） 便于任务读取缓存内容并加载到数组/HashMap 等结构 主要好处 可分发简单只读文本/数据...

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。