如何 debug Hadoop 代码？

How can you debug Hadoop code?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: hard

分类: Hadoop 运维, Debug

标签: debug, mapreduce, resource-manager, node-manager, logs, job-id

参考答案摘要

TL;DR Debug Hadoop/MapReduce 通常从 检查运行中 job 开始，定位 RM 日志目录与 Job ID，再追踪到执行该任务的 worker node，查看 NodeManager 与用户级 job logs。 常用步骤（按原文） 先检查当前运行的 MapReduce jobs，确认是否有 orphaned jobs。 找到 ResourceManager 日志位置： ps...

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。