Spark安装
Spark安装——1.Linux系统提示:所写文章仅供自己记录安装过程,无任何其他目的。所借鉴的文章,侵权请告知。文章目录Spark安装——1.Linux系统前言一、下载VirtualBox虚拟机二、安装Ubuntu1.引入库2.读入数据总结前言进行Spark的安装所需要的一系列操作。安装Linux系统、Java环境和Hadoop环境。提示:以下是本篇文章正文内容,下面案例可供参考一、下载Virt
Spark安装——1.Linux系统
提示:所写文章仅供自己记录安装过程,无任何其他目的。所借鉴的文章,侵权请告知。
前言
进行Spark的安装所需要的一系列操作。安装Linux系统、Java环境和Hadoop环境。
提示:以下是本篇文章正文内容,下面案例可供参考
一、下载VirtualBox虚拟机
链接: https://pan.baidu.com/s/1uWUXvj981SGz8gleJaX_Yg?pwd=m5dk 提取码: m5dk 复制这段内容后打开百度网盘手机App,操作更方便哦
安装步骤如下:
1.下载完成后得到.exe安装文件
2.鼠标右键点击exe文件就可以进入virtualbox虚拟机安装界面,如下图所示,你可以点击下一步继续安装。
3.进入到virtualbox虚拟机安装位置选择界面,你可以选择默认安装,直接点击下一步,软件会默认安装到系统c盘中,或者点击浏览选择合适的安装位置后再点击下一步。
4.进入到virtualbox虚拟机中文版附加选项界面,你可以根据自己的需要选择界面中的选项,选择完成后点击下一步。
5.进入到virtualbox虚拟机中文版准备安装界面,如下图所示,提示你在安装使会中断网络连接,所以需要做好准备后再点击界面下方的是选项进行安装。
6.virtualbox虚拟机中文版安装速度是很快的,你只需耐心等待一小会就可以完成安装,安装完成后点击界面下方的完成选项就可以关闭安装界面打开软件使用了。
7.安装过程中,无论出现什么都选择安装。
7.安装完成后点击界面下方的完成选项就可以关闭安装界面打开软件使用了。
二、安装Ubuntu
提示:安装Ubuntu之前需要下载镜像,我所用镜像可以从百度网盘下载
链接: https://pan.baidu.com/s/15gKUct_JH4-VKemuttgj1Q?pwd=33ad 提取码: 33ad 复制这段内容后打开百度网盘手机App,操作更方便哦
1.确认系统版本
上面已经提供32位和64位Ubuntu系统的下载地址。如果您的电脑较新或者内存大于4G,建议您选择64位的Ubuntu系统。
如果您选择的系统是32位Ubuntu系统,那么直接跳过此步骤内容,查阅步骤(二):“安装前的准备”。
如果您选择的系统是64位Ubuntu系统,那么在安装虚拟机前,我们还要进入BIOS开启CPU的虚拟化。
进入BIOS
大部分电脑品牌厂商的电脑进入Bios,只需要在开机的第一时间按下键盘上Del键即可进入Bios系统。如果您的电脑按Del热键不能进入Bios,那么就需要您去百度电脑对应主板进入Bios的方法,比如我使用的lenovo台式机是使用F1热键进入Bios.
开启CPU 虚拟化
把Virtualization设置为Enabled状态
2.安装前的准备
1.打开VirtualBox,点击“创建”按钮,创建一个虚拟机
2.给虚拟机命名,选择操作系统,版本
3.选择内存大小
如果你电脑上的总内存有8GB,那么可以划分3GB内存给Ubuntu,这样运行会快很多。
4.创建虚拟硬盘
5.选择虚拟硬盘文件类型VDI
6.虚拟硬盘选择动态分配
7.选择文件存储的位置和容量大小
如果只是学习hadoop,那么默认8G容量是够用的。但是考虑到读者可能安装其他应用软件,因此这里划分30GB用于文件存储(如果少于30GB,后期会出现磁盘空间不够的情况)。
8.点击创建就可以
2.安装前的准备
1.选择下载的Ubuntu LTS 14.04的ISO映像文件
2.进入存储设置界面后,点击没有盘片,再点击光盘按钮,选择一个虚拟光驱,添加上面您下载的Ubuntu LTS 14.04 ISO映像文件。
3.选择刚创建的虚拟机Ubuntu,点击“启动”按钮
4.启动如果看到下面的界面,那么请下拉选项选择你刚才选择的ISO文件。(如果没有出现此界面,直接跳往下一步即可)
5.启动看到Ubuntu 的安装欢迎界面
选择你想用的语言,推荐使用中文(简体)
6.检查是否连接网络,是否安装第三方软件
直接点击“继续”按钮。
7.确认安装类型
我们选择”其他选项”,在点击继续
8.新建分区表
点击“新建分区表”按钮。这时,可能在界面上无法看到“+”按钮,这是由于计算机的分辨率问题导致的,遇到这种情形时,可以按住键盘的“Alt”键,再把鼠标移动到安装界面上,点住鼠标左键不放,向上拖动界面,就可以看到其他被遮住的部分了。
9.点击“继续”按钮
10.创建分区,添加交换空间和根目录
交换空间:
选择下图中“空闲”,然后再点击“+”按钮,用来创建交换空间
点击“+”按钮后,会出现如下图的界面,我们进行如下设置:
大小:我们设置512MB
新分区的类型:选择“主分区”选项
新分区的位置:选择“空间起始位置”选项
用于:在下拉列表中选择“交换空间”选项
然后点击“确定”按钮
根目录:
选择下图中“空闲”,然后再点击“+”按钮,用来创建根目录
点击“+”按钮后,会出现如下图的界面,我们进行如下设置
大小:不用改动,系统自动设为剩余的空间
新分区的类型:选择“逻辑分区”选项
新分区的位置:选择“空间起始位置”选项
用于:在下拉列表中选择“EXT4日志文件系统”选项
挂载点:在下拉列表中选择“/”选项
11.开始安装
点击“现在安装”按钮
点击“现在安装”按钮后,会弹出如下界面,询问“ 将改动写入磁盘吗?”,点击“继续”按钮
12.选择时区
时区选择默认即可,点击“继续”
13.键盘布局
左右栏目都选择汉语即可
14.设置用户名和密码
建议选择“登录时需要密码”选项。
现在安装过程,系统会自动安装,不要点击skip,可以泡杯咖啡,等候系统自动安装完成。
15.安装完成,重启
安装终于完成,点击“现在重启”即可。“现在重启”只是重启虚拟机系统的运行,并不是重启Windows系统。
重启时,可能会出现如下提醒页面
我们可以自己关闭虚拟机系统,如下图
选择“强制退出”选项
16.重新启动安装好的Ubuntu系统
然后打开虚拟机终端,输入如下命令,执行即可
sudo apt-get install virtualbox-guest-dkms
17.再次重启安装好的ubuntu系统
点击顶部菜单最右边齿轮按钮,出现下图,选择“关机”选项即可,然后在选择“重启”
18.网络配置
按照上述步骤安装完成以后,可能有部分读者无法连接网络的情况。不能联网的读者可以选择切换当前网络模式到桥接模式。可以联网的读者请跳过此步骤。
总结
以上是我的安装过程,我所参考的是林子雨实验室的相关步骤。
链接: link.http://dblab.xmu.edu.cn/blog/337-2/
更多推荐
所有评论(0)