关注微信公共号：小程在线

关注CSDN博客：程志伟的博客

我在本机上已全部实现，下面是在我自己电脑上的截图

 

1.虚拟机镜像下载：

 

要是自己安装linux后再搭建环境可是相当麻烦的，所以我们要找别人已经配好的虚拟机。功夫不负有心人，找了很多资源之后终于找到了好用且免费的虚拟机镜像。

【镜像下载地址】https://pan.baidu.com/s/1kUWaNWz#list/path=%2F（需要安装百度云盘客户端，文件大小是6GB）

【镜像说明】
此镜像是使用VirtualBox虚拟机软件导出来的，里面包含了Ubuntu系统和全套大数据软件。遇到需要输入密码的地方，密码都是hadoop。
安装的系统和软件如下（所有软件都安装在/usr/local/目录下）：
Ubuntu16.04
Hadoop2.7.1
Spark2.1.0
HBase1.1.5
JDK1.8
Scala2.11.8
MySQL
Kafka_2.11-0.10.2.0
Flume1.7.0
sbt
Maven3.3.9
MongoDB3.2.17
Hive2.1.0
Scala IDE（包含Eclipse4.7.0和Maven、Scala、sbt插件）

 

 

2.安装虚拟机软件（VirtualBox或VMWare）

我用的是VMWare，具体下载安装随便一搜就有，在此不再赘述。

3.加载虚拟机镜像

打开VMWare，文件->打开，选择第一步下载的镜像，然后等待安装就好了。

4.打开虚拟机

安装好之后，直接启动虚拟机，选择hadoop账户，密码hadoop（这个虚拟机里涉及到密码的地方都是hadoop）。

5.启动hadoop

打开终端，进入hadoop安装目录，启动hadoop。具体命令是：

1. cd /usr/local/hadoop

2. sbin/start-dfs.sh

 

然后就会看到以下信息：

 

 

就说明已经启动成功啦。可以看出，在localhost启动了一个namenode和datanode，在0.0.0.0启动了一个namenode。这是在一个电脑上模拟hadoop集群环境，有这些就足够用啦。

6.简单配置一下

为了使用方便，可以直接用hadoop命令，我们需要配置环境变量。

编辑.bashrc文件。命令是：

vi ~/.bashrc

添加以下几句命令：

在文件开始处添加：export HADOOP_HOME=/usr/local/hadoopexport PATH=$PATH:$HADOOP_HOME/bin

#在后面alias命令后添加：alias start_hadoop='/usr/local/hadoop/sbin/start-dfs.sh'alias stop_hadoop='/usr/local/hadoop/sbin/stop-dfs.sh'

添加好之后，保存退出，执行下面的语句进行应用。

source ~/.bashrc

然后直接执行hadoop就会出现以下信息：

 

我们可以看一下hdfs文件系统中有什么，执行

hadoop fs -ls /

可以看到有这 hbase tmp user 三个文件夹。

上面添加的两个alias命令是为了，直接执行 start_hadoop 或者 stop_hadoop 就可以打开/关闭hadoop，输入 stop_hadoop