[Hadoop]问题记录:Hadoop在root用户下启动错误:File /user/root/input/slaves could only be replicated to 0 nodes, in       

分类:            分布式计算 1345人阅读 评论(0) 收藏 举报

在盛大云上启动了一个虚拟机,默认用户是root,运行hadoop出错:

[错误现象]

root@snda:/data/soft/hadoop-0.20.203.0# bin/hadoop fs -put conf input
11/08/03 09:58:33 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /user/root/input/slaves could only be replicated to 0 nodes, instead of 1

[原因]

启动hadoop的datanode的时候出现过这个错误


root@snda:/data/soft/hadoop-0.20.203.0# ./bin/hadoop-daemon.sh start datanode
starting datanode, logging to /data/soft/hadoop-0.20.203.0/bin/../logs/hadoop-root-datanode-snda.out
Unrecognized option: -jvm
Could not create the Java virtual machine.

 

[解决]

仔细找一下,-jvm这个参数是在 bin/hadoop里出现

  CLASS='org.apache.hadoop.hdfs.server.datanode.DataNode'
  if [[ $EUID -eq 0 ]]; then
    HADOOP_OPTS="$HADOOP_OPTS -jvm server $HADOOP_DATANODE_OPTS"
  else
    HADOOP_OPTS="$HADOOP_OPTS -server $HADOOP_DATANODE_OPTS"
  fi

这里的脚本里说明,如果是EUID = 0,也就是说用root用户执行,就执行带 -jvm的这一句,否则就执行带-server的这一句。


至于为什么-jvm会说不识别,不太清楚,但是可以解决:

1) 修改脚本,把-jvm参数改成-server

2)用一个非root的账户运行,就可以啦。

     用非root账户执行确定没问题,修改脚本的办法不确定是不是会引起其它问题

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐