安装配置Hadoop

请查看：ubuntu虚拟机中安装Hadoop全过程（单机分布方式+伪分布方式）

 

*参考文章：ubuntu18.04安装spark（伪分布式）

安装scala

1. 下载地址：https://www.scala-lang.org/download/2.11.8.html

2. 解压到自己的目录

sudo tar zxvf scala-2.11.8.tgz -C /usr/local/

3.  进入到/usr/local将文件重命名为scala

sudo mv scala-2.11.8 scala

4. 配置环境变量

sudo vim ~/.bashrc

 在最后添加：

export SCALA_HOME=/usr/local/scala
export PATH=$PATH:$SCALA_HOME/bin

使配置立即生效：

source ~/.bashrc

5. 验证是否安装成功

scala -version

即为安装成功

 

安装Spark

1. 下载地址：http://spark.apache.org/downloads.html

2. 解压到/usr/local/

sudo tar zxvf spark-2.3.3-bin-hadoop2.7.tgz  -C /usr/local/

3. 进入到/usr/local重命名

sudo mv spark-2.3.3-bin-hadoop2.7 spark

4. 配置环境变量

sudo vim ~/.bashrc

 在最后添加：

export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin
export PATH=$PATH:$SPARK_HOME/sbin

使配置立即生效：

source ~/.bashrc

5. 配置spark-env.sh

进入到usr/local/spark/conf目录

将spark-env.sh.template复制为spark-env.sh：

sudo cp spark-env.sh.template spark-env.sh

 配置spark-env.sh：

sudo vim spark-env.sh

 添加如下内容：注意修改为自己的安装路径

export JAVA_HOME=/usr/local/jdk1.8
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SCALA_HOME=/usr/local/scala
export SPARK_HOME=/usr/local/spark
export SPARK_MASTER_IP=127.0.0.1
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8099
export SPARK_WORKER_CORES=3
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=5G
export SPARK_WORKER_WEBUI_PORT=8081
export SPARK_EXECUTOR_CORES=1
export SPARK_EXECUTOR_MEMORY=1G
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$HADOOP_HOME/lib/native

6. 配置Slave

进入到usr/local/spark/conf目录

sudo cp slaves.template  slaves

 配置slaves：

sudo vim slaves

默认为localhost（可以根据自己的情况修改）

 

 

启动spark

1. 需要先启动hadoop伪分布式：启动hdfs文件系统和yarn资源调度器

start-dfs.sh
start-yarn.sh

输入jps，显示如下则表示启动成功

2. 启动Master和Worker

进入到spark/sbin目录

sudo ./start-master.sh
sudo ./start-slaves.sh

需要输入root@localhost's password，但是一直被拒绝

解决：

参考文章：问题root@localhost's password:localhost:permission denied,please try again

sudo vim /etc/ssh/sshd_config

在其中找到PermitRootLogin prohibit-password禁用，添加PermitRootLogin yes，（我的在第32行）

重启ssh：

sudo service ssh restart

再启动spark即可

spark的web界面：http://127.0.0.1:8099/

3.  进入spark/bin目录，输入spark-shell即可进入scala环境编写代码

退出spark-shell：

:q

spark-shell的web界面http://127.0.0.1:4040