linux下编译hadoop的2.7.2的源码
1.准备虚拟机环境2.伪分布式安装 hadoop编译源码1. 为什么编译hadoop源码?因为从hadoop官方上下载下来的都是32位的,默认都是使用64的机器2. 准备工作1.配置centos6.92.hadoop-2.7.2-src.tar.gz hadoop源...
·
1.准备虚拟机环境
2.伪分布式安装
hadoop编译源码
1. 为什么编译hadoop源码?
因为从hadoop官方上下载下来的都是32位的,默认都是使用64的机器
2. 准备工作
1.配置centos6.9
2. hadoop-2.7.2-src.tar.gz hadoop源码
protobuf-2.5.0.tar.gz
apache-maven-3.6.0-bin.tar.gz maven工程
apache-ant-1.9.9-bin.zip
jdk-8u191-linux-x64.tar.gz jdk
3.在/opt/目录下创建两个目录 software module
mkdir software
mkdir module
4.上传软件到/opt/software
rz -bey
yum -y install lrzsz 安装rz
3. JDK 环境变量配置 JAVA_HOME 和 PATH java -version 验证是否安装成功
1. tar -zxvf jdk-8u191-linux-x64.tar.gz -C /opt/module/
2. vim /etc/profile 添加环境变量
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_191
export PATH=$PATH:$JAVA_HOME/bin
3. source file 配置生效
4. 验证是否安装成功
java -version
4. MAVEN 环境变量配置 MAVEN_HOME 和PATH
1. tar -zxvf apache-maven-3.6.0-bin.tar.gz -C /opt/module/
2. vim /etc/profile
#MAVEN_HOME
export MAVEN_HOME=/opt/module/apache-maven-3.6.0
export PATH=$PATH:$MAVEN_HOME/bin
3. source /etc/profile
4. 验证是否安装成功
mnv -v
5. 替换阿里云的maven仓库
vim /opt/module/apache-maven-3.6.0/conf/settings.xml
<mirrors>
<mirror>
<id>nexus-aliyun</id>
<mirrorOf>central</mirrorOf>
<name>Nexus aliyun</name>
<url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>
</mirrors>
5. ant解压 配置 ANT_HOME和PATH
1.tar -zxvf apache-ant-1.10.5-bin.tar.gz -C /opt/module/
2.vim /etc/profile
#ANT_HOME
export ANT_HOME=/opt/module/apache-ant-1.10.5
export PATH=$PATH:$ANT_HOME/bin
3.source /etc/profile
4.验证是否安装成功
ant -version
6. 安装 glibc-headers 和 g++ 命令
yum install glibc-headers
yum install gcc-c++
7. 安装make和cmake
yum install make
yum install cmake
8. 解压protobuf
1. tar -zxvf protobuf-2.5.0.tar.gz -C /opt/module/
2. cd /opt/module/protobuf-2.5.0
3. ./configure
4. make
5. make check
6. make install
7. ldconfig
8. 配置环境变量
vim /etc/profile
#LD_LIBRARY_PATH
export LD_LIBRARY_PATH=/opt/module/protobuf-2.5.0
export PATH=$PATH:$LD_LIBRARY_PATH
source /etc/profile
protoc --version
9. 安装openssl 库
yum install openssl-devel
10. 安装ncurses-devel 库
yum install ncurses-devel
11. 编译源码
1. 解压源码到 /opt/ 目录下
tar -zxvf hadoop-2.7.2-src.tar.gz -C /opt/
2. cd /opt/hadoop-2.7.2-src
3. mvn package -Pdist,native -DskipTests -Dtar
如果失败请重复这个命令
4. 成功编译后
hadoop包 在/opt/hadoop-2.7.2-src/hadoop-dist/target/hadoop-2.7.2.tar.gz 目录下
我大概用了3个半小时,如果需要必备的工具链接:https://pan.baidu.com/s/1ylsTyplfph9bCgtJ216GqQ
提取码:1y8x
更多推荐
已为社区贡献1条内容
所有评论(0)