Hadoop 的 speculative execution 是什么？

What is speculative execution in Hadoop?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: hard

分类: MapReduce, 性能与容错

标签: speculative-execution, slow-nodes, backup-tasks, jobtracker, tasktracker

参考答案摘要

TL;DR Speculative execution 是 Hadoop 为应对“慢节点拖慢整体作业”的问题而设计的机制：当检测到某些任务运行明显慢于预期时，会在其他节点启动等价的 重复任务 作为备份，哪个先完成就采用哪个结果，并取消其它副本。 工作机制（原文逻辑整理） 当部分节点执行慢，会影响整体完成时间 Hadoop 不一定去定位慢原因，而是启动 duplicate task 作为 backu...

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。