Linux系统下安装Hadoop并测试MapReduce
首先我们需要在网上下载Linux系统,我在这次安装过程中使用的CentOS-7系统CentOS-7镜像文件下载地址: https://www.centos.org/download/1. 选择好自己需要的版本2. 安装CentOS系统,并安装图形化界面,方便操作打开VMware,选择创建新的虚拟机选择好虚拟机位置然后一直点击下一步到安装完成。开机后我们选...
首先我们需要在网上下载Linux系统,我在这次安装过程中使用的CentOS-7系统
CentOS-7镜像文件下载地址: https://www.centos.org/download/
1. 选择好自己需要的版本

2. 安装CentOS系统,并安装图形化界面,方便操作
打开VMware,选择创建新的虚拟机

选择好虚拟机位置

然后一直点击下一步到安装完成。
开机后我们选择第一项,直接安装


选择网络和主机名,配置好网关

直接点击打开就好

再选择上图中的安装位置,直接进去点击完成就好,然后点击开始安装,并为虚拟机配置密码。
安装完成后点击重启。
接下来安装图形化界面,安装时间比较久。
执行命令: (中途若遇到黑屏无显示直接敲回车)
yum groupinstall "X Window System"


显示complete则说明安装成功
执行命令:yum groupinstall “GNOME Desktop”
输入startx进行图形化界面。(可能需要重启)
这样CentOS安装就完成了。接下来需要配置jdk
jdk下载地址: https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
选择Linux系统版本的下载。
3. Jdk的安装配置
下载好后解压: tar -zxvf jdk-8u191-linux-x64.tar.gz -C /root/training/ 或者 tar -zxvf jdk-8u191-linux-x64.tar.gz

配置环境: vim /etc/profile
在最后面添加:
#java environment
export JAVA_HOME=/root/training/jdk1.8.0_191
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:${JAVA_HOME}/bin


4. Hadoop安装以配置
下载后解压: tar -zxvf hadoop-2.9.2.tar.gz -C /root/training/ 或则 tar -zxvf hadoop-2.9.2.tar.gz
环境配置: vi ~/.bash_profile
最后面添加:
JAVA_HOME=/root/training/jdk1.8.0_191
export JAVA_HOME
PATH=$JAVA_HOME/bin:$PATH
export PATH
HADOOP_HOME=/root/training/hadoop-2.9.2
export HADOOP_HOME
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH

让配置文件生效: source ~/.bash_profile
hadoop本地模式配置:
cd /root/training/hadoop-2.9.2/etc/hadoop/
vim hadoop-env.sh

mapreduce测试wordcount
cd /root/training/hadoop-2.9.2/share/hadoop/mapreduce/

创建输入输出文件和文件夹
mkdir -p /root/data/input
mkdir -p /root/data/output
vi /root/data/input/data.txt

写入语段用于测试
hadoop jar hadoop-mapreduce-examples-2.9.2.jar wordcount /root/data/input/data.txt /root/data/output/wc.txt

统计结果

其他两个也是一样的语法进行测试
wordmean测试

wordmedian测试

这样Hadoop本地模式就配置完成了
更多推荐



所有评论(0)