安装Spark,解压安装包

修改名称，方便之后输入

sudo vim spark-env.sh 新建spark-env.sh文件,并进行配置

通过运行Spark自带的示例，验证Spark是否安装成功

通过grep过滤信息，查看示例结果

进入spark shell

加载text文件

获取RDD文件textFile的第一行内容

获取RDD文件textFile所有项的计数

抽取含有“Spark”的行，返回一个新的RDD

统计新的RDD的行数

找出文本中每行的最多单词数

退出spark shell

（一）编写Scala独立应用程序

创建安装目录

解压目录

把bin目录下的sbt-launch.jar复制到sbt安装目录下

sbt 可执行文件中添加如下信息

保存后，还需要为该Shell脚本文件增加可执行权限：

最后运行如下命令，检验 sbt 是否可用

进入用户主文件夹，并创建应用程序根目录

创建所需的文件夹结构

在 ./sparkapp/src/main/scala 下建立一个名为 SimpleApp.scala 的文件

我们需要通过 sbt 进行编译打包。 在~/sparkapp这个目录中新建文件simple.sbt。在simple.sbt中添加如下内容，声明该独立应用程序的信息以及与 Spark 的依赖关系

查看程序文件结构

我们就可以通过如下代码将整个应用程序打包成 JAR

将生成的 jar 包通过 spark-submit 提交到 Spark 中运行

（二）Java独立应用编程

手动安装maven，解压到/usr/local/maven中

在终端执行如下命令创建一个文件夹sparkapp2作为应用程序根目录

在 ./sparkapp2/src/main/java 下建立一个名为 SimpleApp.java 的文件（vim ./sparkapp2/src/main/java/SimpleApp.java），添加代码如下

该程序依赖Spark Java API,因此我们需要通过Maven进行编译打包。在./sparkapp2中新建文件pom.xml(vim ./sparkapp2/pom.xml),添加内容如下，声明该独立应用程序的信息以及与Spark的依赖关系

搜索spark-core可以找到相关依赖关系信息

为了保证maven能够正常运行，先执行如下命令检查整个应用程序的文件结构

通过如下代码将这整个应用程序打包成Jar

将生成的jar包通过spark-submit提交到Spark中运行