Hadoop 常见问题总结

Hadoop出现问题以后先查看日志，以下是常见的错误情况

1 地址占用

org.apache.hadoop.hdfs.server.namenode.NameNode: Address already in use 

查找被占用的端口号对应的PID  : netstat -tunl

 pkill  -9  PID实在不行就killall -9  java

2 safemode

bin/hadoop fs -put ./input input

put: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/input. Name node is in safe mode.

hadoop dfsadmin -safemode leave

解决方法：
 

NameNode在启动的时候首先进入安全模式，如果datanode丢失的block达到一定的比例（1-dfs.safemode.threshold.pct），则系统会一直处于安全模式状态即只读状态。
 
dfs.safemode.threshold.pct（缺省值0.999f）表示HDFS启动的时候，如果DataNode上报的block个数达到了元数据记录的block个数的0.999倍才可以离开安全模式，否则一直是这种只读模式。如果设为1则HDFS永远是处于SafeMode。
 
下面这行摘录自NameNode启动时的日志（block上报比例1达到了阀值0.9990）
 
The ratio of reported blocks 1.0000 has reached the threshold 0.9990. Safe mode will be turned off automatically in 18 seconds.
 

有两个方法离开这种安全模式
 

（1）修改dfs.safemode.threshold.pct为一个比较小的值，缺省是0.999。
 
（2）hadoop dfsadmin -safemode leave命令强制离开

用户可以通过dfsadmin -safemode value  来操作安全模式，参数value的说明如下：
 
enter - 进入安全模式
 
leave - 强制NameNode离开安全模式
 get -  返回安全模式是否开启的信息
 wait - 等待，一直到安全模式结束。