固定开头，菜鸡一只，如有说错，请大家批评指出，一定改正！

事情是这样，当我们学习spark的时候，搭建一个环境是最简单也是最开始我们要做的，

一般情况下，我们都是使用虚拟机（linux机器）来搭建spark的环境，然后让spark运行在yarn上（其实也有其他几个模式，但是yarn模式是较常见的通用的资源管理平台）

但是本文要说的是如何在生产（环境）服务器上，搭建自己的spark环境

 

需要准备的东西

1、一台集群内的客户端机器（这台机器一般是提交hive，mr，spark等各种任务的机器）

2、一个编译好的spark.tar（请记住你用的hadoop版本，比如我是cdh的，那就要找对应的cdh版本编译）

关于如何编译spark版本：https://blog.csdn.net/lsr40/article/details/80116235

你可以在编译之前用idea打开源代码，加上你自己想要修改要优化的代码，然后再用这份代码去编译，这样这个版本就是属于你的唯一的版本了

3、得有一些相应的权限（比如linux目录，hdfs上某个目录的权限，这个一般跟你使用哪个用户登录集群内的客户端机器有关）

 

接下来要做的事情：

1、先确认集群内是否已经有安装好的spark版本？

如果有，就非常方便，请看2

如果没有，请看5

2、你需要的就是先找找看以前的spark版本运行的时候，相关环境是哪些，加载了哪些jar包？

例如：我可以看到我使用的client机器上有spark的脚本（这个一般是搭建集群的人安装好的版本）

接着，必须找到这个spark运行的时候读取的哪些配置文件和jar包？

主要来说就是hadoop和hive的配置文件和jar包，还有spark自己的配置文件和jar包

因此，我找到了这么一个目录

大家如果有兴趣研究，其实yarn-conf里面放的就是各种配置文件（hadoop和hive的site文件）

classpath.txt就是要加载的相关的jar包

这些东西，都是通过spark-env.sh来加载的（这个文件我就不放出来了，截一些图）

3、解压你自己的spark.tar包，将原来spark的conf目录下的东西原封不动的复制到你自己的spark的conf目录下

4、修改两个地方

第一个地方，你是spark现在的env加载的还是以前spark的配置，肯定得出问题

第二个地方，你现在spark运行起来加载的还是以前spark的jar包

请关注在哪里指定的spark运行jar包（因为可以在不同的地方指定）

我的配置是在spark-defaults.conf中的spark.yarn.jars

如果你的jar包是在本地，那么每次spark运行的时候，就需要将所依赖的jar包上传到hdfs上（这样会导致程序启动时缓慢），所以我们一般还是选择一个hdfs目录来存放spark的jar包！

如果在本地，配置就这么写：spark.yarn.jars=/本地路径/sparkjars/*

如果在hdfs，配置就这么写：spark.yarn.jars=hdfs://nameservice1/hdfs的目录/sparkjars/*

在运行的时候，如果spark日志是info级别的，请仔细看，是否会有在上传jar包的日志，以此来确定自己的配置是否生效！

5、说实话，如果真的没有已有的环境

其实还挺麻烦的，你需要记住几点（因为我没有具体在生产服务器上做过，但是我在自己环境里做过）

-1.spark的conf目录中必须有hadoop和hive的那几个重要的配置（请看yarn-conf中放的那些文件）

-2.spark的jar包加载的是哪里的，是否需要加载其他依赖jar包？jar包的添加方式见第四点，也可以通过--jars的方式添加，通过逗号分隔多个jar包（但是不太推荐，如果jar包很多，还挺麻烦的）

6、关键：一定要测试，可以开启spark-shell，查看是否能运行，并且运行spark版本是否是你自己的版本！

 

7、最后，还希望大家多思考，我觉得解决问题时，思路是很重要的，报错了，得先估计下是哪里出的问题，不要盲目的乱捣鼓（当然如果你猜的你全部都试过了，都不是，那就只能瞎猜乱搞了。。。。）

 

8、附上一个报错（我只截取报错头）

这种莫名其妙的报错（这个报错是我在运行spark-shell就直接报的错！）

报错，大概跟这篇文章差不多：https://bbs.csdn.net/topics/392309834

org.apache.spark.SparkException: Exception thrown in awaitResult: 
Caused by: java.lang.RuntimeException: java.io.StreamCorruptedException: invalid stream header: 01000D31

这个报错，我记得是第四点的第一个地方没改，会出的问题，改下就好了（如果您也报了一些奇怪的错，请返回查看第四点要修改的东西，您是否修改了）！

 

本人菜鸡一只，这篇文章就到这里，红黑树还有最后一个坑没填完，在下一篇文章就会把红黑树系列更新完，敬请期待