这里我们将完成虚拟机Hadoop的安装,我们需要选修改一个主机名方便以后查看,还需要下载好Hadoop文件,链接:Index of /dist/hadoop/common (apache.org)

选择你需要的Hadoop版本下载,我这里下载的是Hadoop-3.1.4/

修改一下主机名 命令:vi /etc/sysconfig/network

 或者:vi /etc/hostname

 

重启虚拟机:reboot

 重启虚拟机,主机名修改成功!

开始安装Hadoop!

(1)上传Hadoop 文件并解压,和上一个jdk的安装一样在xftp里面双击Hadoop文件。

上传成功!

 解压 命令:tar -zxf hadoop-3.1.4.tar.gz  -C  /opt

 可删除安装包以节省磁盘空间。

(2)修改配置文件 /opt/hadoop-3.1.4/etc/hadoop

先找到文件路径

######hadoop-env.sh

添加JAVA_HOME环境变量:

export JAVA_HOME=/usr/java/jdk1.8.0_341-amd64

(可以通过 echo $JAVA_HOME  获取路径)

!!!在配置一下文件时注意修改自己的主机名字!!!!!

命令:vi hadoop-env.sh
vi core-site.xml
 vi hdfs-site.xml
 vi mapred-site.xml
 vi yarn-site.xml

######core-site.xml

<configuration>

   <property>

               <name>fs.defaultFS</name>

               <value>hdfs://demo:8020</value>

  </property>

  <!-- 临时文件存储目录 -->

       <property>

               <name>hadoop.tmp.dir</name>

               <value>/data/hadoop/tmp</value>

       </property>

</configuration>

 ######hdfs-site.xml

<configuration>

         <property>

                   <name>dfs.namenode.name.dir</name>

                   <value>/data/hadoop/namenode</value>

         </property>

         <property>

                   <name>dfs.datanode.data.dir</name>

                   <value>/data/hadoop/datanode</value>

         </property>

         <property>

                   <name>dfs.blocksize</name>

                   <value>134217728</value>

         </property>

         <property>

                   <name>dfs.replication</name>

                   <value>3</value>

         </property>

         <!-- 是否启用hdfs权限检查 false 关闭-->

         <property>

                   <name>dfs.permissions.enabled</name>

                   <value>false</value>

         </property>

         <property>

                   <name>dfs.namenode.http-address</name>

                   <value>demo:50070</value>

         </property>

</configuration>

 ######mapred-site.xml

<configuration>

         <property>

                   <name>mapreduce.framework.name</name>

                   <value>yarn</value>

         </property>

         <property>

          <name>yarn.app.mapreduce.am.env</name>

          <value>HADOOP_MAPRED_HOME=/opt/hadoop-3.1.4</value>

         </property>

<property>

<name>mapreduce.application.classpath</name>

<value>/opt/Hadoop-3.1.4/share/Hadoop/mapreduce/*:/opt/Hadoop-3.1.4/share/Hadoop/mapreduce/lib/*</value>

         </property>

</configuration>

######yarn-site.xml

<configuration>

         <property>

                   <name>yarn.resourcemanager.hostname</name>

                   <value>demo</value>

         </property>

         <!-- 设置不检查虚拟内存的值,不然内存不够会报错 -->

         <property>

                   <name>yarn.nodemanager.vmem-check-enabled</name>

                   <value>false</value>

         </property>

         <property>

                   <name>yarn.nodemanager.aux-services</name>

                   <value>mapreduce_shuffle</value>

         </property>

         <!--yarn上面运行一个任务,最少需要1.5G内存,虚拟机没有这么大的内存就调小这个值,不然会报错 -->

         <property>

       <name>yarn.app.mapreduce.am.resource.mb</name>

       <value>1024</value>

         </property>

</configuration>

 以上就是Hadoop的安装,下一篇文章:Hadoop集群的配置(4条消息) Hadoop集群的配置_仄言2997的博客-CSDN博客_集群配置hadoop

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐