Linux服务器下PySpark环境安装
Linux服务器下PySpark环境安装一、JDK安装1. 下载JDK安装包进入Java官网下载对应的JDK版本,建议下载较早的版本,可能出现不兼容的。这里选择下载jdk-8u321-linux-x64.tar,下载完毕适用Xftp7上传至服务器并解压。tar -zxfv jdk-8u321-linux-x64.tar2. 修改 `/etc/profile` 文件,添加环境变量配置信息。vim
Linux服务器下PySpark环境安装
一、JDK安装
1. 下载JDK安装包
进入Java官网下载对应的JDK版本,建议下载较早的版本,可能出现不兼容的。这里选择下载jdk-8u321-linux-x64.tar,下载完毕适用Xftp7上传至服务器并解压。
tar -zxfv jdk-8u321-linux-x64.tar
2. 修改 `/etc/profile` 文件,添加环境变量配置信息。
vim /etc/profile
在文件末尾添加如下的配置信息
export JAVA_HOME=解压后的安装包位置
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/
执行
source /etc/profile
使环境变量配置生效。
验证JDK环境,
[root@VM-20-8-centos ~]# java -version
java version "1.8.0_321"
Java(TM) SE Runtime Environment (build 1.8.0_321-b07)
Java HotSpot(TM) 64-Bit Server VM (build 25.321-b07, mixed mode)
- 如果按照上述步骤显示的仍然是OpenIDK(即系统自带的版本),执行下面的命令更新java版本
update-alternatives --install /usr/bin/java java $JAVA_HOME/bin/java 1065
update-alternatives --install /usr/bin/javac javac $JAVA_HOME/bin/javac 1065
update-alternatives --install /usr/bin/jar jar $JAVA_HOME/bin/jar 1065
update-alternatives --install /usr/bin/javaws javaws $JAVA_HOME/bin/javaws 1065
- 然后执行下面的 指令选择JDK版本
update-alternatives --config java
二、Python安装
- 安装相应的编译工具,在命令端执行
yum -y groupinstall "Development tools"
yum -y install zlib-devel bzip2-devel openssl-devel \
ncurses-devel sqlite-devel readline-devel tk-devel \
gdbml-devel db4-devel libpcap-devel xz-devel
yum install -y libffi-devel zliblg-dev
yum install zlib* -y
-
下载Python3.7安装包
建议下载Python3.6Python3.8的Python版本,还是版本兼容的问题~
上传!解压!
tar -zxvf Python-3.7.7.tgz
进入解压后的目录,编译安装
./configure --prefix=/usr/local/python3 --enable-optimizations --with-ssl
第一个--prefix
指定安装的路径,不指定的话,安装过程中软件所需的文件可能复制到其它目录中,这样在删除软件时会很不方便,复制软件也不方便。第二个--enable-optimizations
开启优化选项,这样可以提高Python代码运行速度10%~20%。第三个--with-ssl
是为了支持pip安装软件需要用到的ssl
。
make && make install
这个过程比较耗时,会进行源码编译,并测试。
- 创建软链接
ln -s /usr/local/python3/bin/python3 /usr/local/bin/python3
ln -s /usr/local/python3/bin/pip3 /usr/local/bin/pip3
验证安装
[root@VM-20-8-centos ~]# python3
Python 3.7.7 (default, Jan 28 2022, 17:56:52)
[GCC 4.8.5 20150623 (Red Hat 4.8.5-44)] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>>
Hello, Python~
三、Spark安装
完成JDK和Python3的安装后,Spark的安装就“洒洒水”(简简单单啦)了。
-
下载Spark安装包并上传到服务器
- 解压并配置环境变量即可
跟上述步骤类似,在
/etc/profile
中修改环境变量,同时添加**SPARK_PYTHON
**变量,即Pyspark使用的Python编译器,路径为系统的Python目录export SPARK_PYTHON=/usr/local/bin/python3 export SPARK_HOME=/root/spark/pakeage/spark-3.2.0-bin-hadoop3.2
别忘了还要
source /etc/profile
- 验证
[root@VM-20-8-centos spark-3.2.0-bin-hadoop3.2]# pyspark
Python 3.7.7 (default, Jan 28 2022, 17:56:52)
[GCC 4.8.5 20150623 (Red Hat 4.8.5-44)] on linux
Type "help", "copyright", "credits" or "license" for more information.
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
22/01/30 19:54:56 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/__ / .__/\_,_/_/ /_/\_\ version 3.2.0
/_/
Using Python version 3.7.7 (default, Jan 28 2022 17:56:52)
Spark context Web UI available at http://VM-20-8-centos:4040
Spark context available as 'sc' (master = local[*], app id = local-1643543698074).
SparkSession available as 'spark'.
>>>
配置Spark环境后会连同配置pyspark的环境变量,因此可以直接输入pyspark
执行。
至此,Spark以及Pysark安装完毕!
更多推荐
所有评论(0)