博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
《Hadoop实战第2版》——2.5节日志分析及几个小技巧
阅读量:6903 次
发布时间:2019-06-27

本文共 970 字,大约阅读时间需要 3 分钟。

2.5 日志分析及几个小技巧

如果大家在安装的时候遇到问题,或者按步骤安装完成却不能运行Hadoop,那么建议仔细查看日志信息。Hadoop记录了详尽的日志信息,日志文件保存在logs文件夹内。
无论是启动还是以后会经常用到的MapReduce中的每一个Job,或是HDFS等相关信息,Hadoop均存有日志文件以供分析。
例如:NameNode和DataNode的namespaceID不一致,这个错误是很多人在安装时都会遇到的。日志信息为:

java.io.IOException: Incompatible namespaceIDs in /root/tmp/dfs/data:namenode namespaceID = 1307672299; datanode namespaceID = 389959598

若HDFS一直没有启动,读者可以查询日志,并通过日志进行分析,日志提示信息显示了NameNode和DataNode的namespaceID不一致。

这个问题一般是由于两次或两次以上格式化NameNode造成的,有两种方法可以解决,第一种方法是删除DataNode的所有资料,第二种方法就是修改每个DataNode的namespaceID(位于/dfs/data/current/VERSION文件中)或修改NameNode的namespaceID(位于/dfs/name/current/VERSION文件中)。使其一致。
下面这两种方法在实际应用也可能会用到。
1)重启坏掉的DataNode或JobTracker。当Hadoop集群的某单个节点出现问题时,一般不必重启整个系统,只须重启这个节点,它会自动连入整个集群。
在坏死的节点上输入如下命令即可:

bin/Hadoop-daemon.sh start datanodebin/Hadoop-daemon.sh start jobtracker

2)动态加入DataNode或TaskTracker。下面这条命令允许用户动态地将某个节点加入到集群中。

bin/Hadoop-daemon.sh --config ./conf start datanodebin/Hadoop-daemon.sh --config ./conf start tasktracker

转载地址:http://ehmdl.baihongyu.com/

你可能感兴趣的文章
编译原理书籍推荐
查看>>
MySQL实现差集(Minus)和交集(Intersect)
查看>>
mysql
查看>>
向android系统下sdcard中写入一个xml文件和读取一个xml文件
查看>>
十一条 Docker 守则
查看>>
wordmaker 词语生成工具
查看>>
Linux程序员必读:中文化与GB18030标准
查看>>
使用java连接AD域,验证账号密码是否正确
查看>>
各个前端框架对比
查看>>
三:MySQL中的数据类型 - 系统的撸一遍MySQL
查看>>
java I/O库中设计模式的应用
查看>>
装配Bean
查看>>
ajax二级联动中所学
查看>>
linux下 iconv 使用
查看>>
tomcat启动为什么 写入这句话 -Dspring.profiles.active=dev
查看>>
作者介绍
查看>>
SonarQube、Sonar-Scanner的安装、配置与使用
查看>>
Android Content Provider(内容提供者)
查看>>
一种NVMe SSD友好的数据存储系统设计
查看>>
上传相册或者相机照片
查看>>