打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
Hadoop分布式程序的调试方法
了解一个系统的内部,我觉得最好的办法只有两个:
1. 找系统的开发设计者仔仔细细的问,
2. 自己跟踪调试系统。
估计要找到 cutting 详细聊不太可能,那只有第二个办法可以采用了,呵呵。而且当 hadoop 出现一些莫名问题的时候,跟踪调试程序也是最后的无奈选择。
工欲善其事,必先利其器。我选择的工具和环境配置如下:
1. 开发机 OS linux (X 选择 gnome 或者 kde 都可以 )
2. 远程控制软件 tightvnc 客户端和服务器端
3. 开发调试 IDE 工具 Eclipse 和 vim
其实要调试 hadoop 分布式程序和进行 java 远程调试是一样的,为什么呢?因为他们就是一回事儿,哈哈!
1.        启动 Eclipse ,将 hadoop 程序装载到工程里面
2.        修改 bin/hadoop 代码加入 java 远程调试选项:
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_TASKTRACKER_OPTS
  -agentlib:jdwp=transport=dt_socket,address=xxxx,server=y,suspend=y"
假设我们要调试 jobtracker 的代码,我们将 bin/hadoop 代码修改如下 :
elif [ "$COMMAND" = "tasktracker" ] ; then
  CLASS=org.apache.hadoop.mapred.TaskTracker
    HADOOP_OPTS="$HADOOP_OPTS $HADOOP_TASKTRACKER_OPTS -agentlib:jdwp=transport=dt_socket, address=8083, server=y, suspend=y"
3.        启动 hadoop
4.        Eclipse 里面跟踪调试
a)          在 Debug configuration 里面新建一个 Java Remote Application
b)         设置断点
c)         启动分布式任务
d)         这个时候任务就会你设置的断点处,停下来让你进行接下来的调试跟踪

本文来自CSDN博客,转载请标明出处:http://blog.csdn.net/hitzhang/archive/2009/08/03/4403628.aspx
本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
调试信息的输出
推荐一下,ictclas4j很好的java分词系统
Hadoop安装部署的三种模式总结
Hadoop在Windows环境下的部署 - ruby97的专栏 - 博客频道 - CSDN
专栏:实战FastDFS分布式文件系统
简单的S52下载线
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服