准备工作

配置Spark Local模式

点击查看Spark Local模式配置教程

一、安装Anaconda

一、下载Anaconda

点击官方下载

二、上传Anaconda

cd /export/software

rz 上传

三、安装Anaconda

bash Anaconda3-2021.05-Linux-x86_64.sh

不断输入空格, 直至出现以下解压, 然后输入yes

此时, anaconda需要下载相关的依赖包, 时间比较长, 耐心等待即可…

四、配置环境变量

vim /etc/profile

# 增加如下配置
export ANACONDA_HOME=/root/anaconda3/bin
export PATH=$PATH:$ANACONDA_HOME/bin

source /etc/profile

sudo vim ~/.bashrc

# 添加如下内容:
export PATH=~/anaconda3/bin:$PATH
conda deactivate

五、测试

python

二、安装PySpark

一、创建虚拟环境

conda create -n pyspark_env python=3.8

二、查看虚拟环境

conda env list

三、激活虚拟环境

conda activate pyspark_env

四、安装PySpark

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyspark 

五、测试

cd /export/server/spark/bin
./pyspark --master local[*]