Ubuntu16.04下深度学习环境的配置(GPU版)(Anaconda3+Pycharm+Pytorch)
这里我使用的分别是Ubuntu16.04、pytorch1.6.0、anaconda3、pycharm,其中在pytorch中选择的cuda版本为9.2为什么深度学习很多使用linux虚拟机和双系统的区别关于anaconda的介绍为什么深度学习和神经网络需要GPUcuda和cudnn在安装之前,有必要解释一下各部分的意义操作系统:linux和windows都属于操作系统。我使用的系统是Ubuntu
这里我使用的分别是Ubuntu16.04、pytorch1.6.0、anaconda3、pycharm、cuda9.2
在安装之前,有必要解释一下各部分的意义
- 操作系统:linux和windows都属于操作系统。我使用的系统是Ubuntu16.04版本,它是linux家族中使用较多的一种。我这里安装的是双系统,当然你也可以使用虚拟机。关于为什么选择linux系统可以参考这篇文章。双系统和虚拟机的对比可以参考这篇文章。关于双系统的安装有很多教程可以参考,这里不做过多介绍。
- python解释器:python解释器是将python的源码高级语言解析为二进制机器语言的工具,更通俗的讲,它就像是翻译机器。通常说的安装python也就是安装python解释器,如果想运行python代码,就必须安装python解释器。ubuntu16.04自带的版本为python2.7.12和python3.5.2。可以通过在终端中输入
python
进入python2环境中,通过python3
进入python3的环境中,在python环境中可以直接运行python代码,通过ctrl+d退出python环境。 - pycharm:就像是编辑文档需要用Word,编辑代码也要有专门的编辑器。类似于C++常用的有VS,python也有IDLE、pycharm、jupyter notebook等,这些都被称为IDE(集成开发环境),除了编辑功能外,还集成了很多软件开发过程中需要的工具。
- anaconda:Anaconda不是语言,它只是python的一个集成管理工具,它把python做相关数据计算与分析所需要的包都集成在了一起,我们只需要安装Anaconda软件就行了,其它什么都不用装,包括python软件。Anaconda则是一个打包的集合,里面包含了720多个数据科学相关的开源包,在数据可视化、机器学习、深度学习等多方面都有涉及。不仅可以做数据分析,甚至可以用在大数据和人工智能领域。另外,安装它后就默认安装了python、IPython、Jupyter notebook和集成开发环境 Spyder等等。总之一句话,安装anaconda让我们省去了大量下载模块包的时间,更加方便。
- pytorch:像pytorch、tensorflow、caffe都属于深度学习框架,一套深度学习框架就像是一个品牌的一套积木,各个组件就是某个模型或算法的一部分,你可以自己设计如何使用积木去堆砌符合你数据集的积木。好处是你不必重复造轮子,模型也就是积木,是给你的,你可以直接组装,但不同的组装方式,也就是不同的数据集则取决于你。pytorch的受欢迎程度正在逐渐上升。
- GPU:像目前的一些pytorch、tensorflow都只支持nvidia的显卡(主要是显卡中的GPU起作用),有没有显卡对于pytorch能不能学习并没有影响,显卡主要起到一个训练加速的作用。GPU相对于CPU的速度取决于执行的计算类型,最适合GPU的计算类型是可以并行计算,而神经网络正是高度并行的。
- 显卡驱动:显卡驱动就是用来驱动显卡的程序,它是硬件所对应的软件。驱动程序即添加到操作系统中的一小块代码,其中包含有关硬件设备的信息。有了此信息,计算机就可以与设备进行通信。驱动程序是硬件厂商根据操作系统编写的配置文件,可以说没有驱动程序,计算机中的硬件就无法工作。
- cuda和cudnn:Nvidia是一家设计GPU的技术公司,他们把cuda作为一个软件平台,与他们的GPU硬件配对,让开发者更容易构建软件,利用Nvidia GPU的并行处理能力加速计算。Nvidia的GPU需要使用cuda,而cuda可以从Nvidia的网站上免费下载和安装。cuDNN是基于CUDA的深度学习GPU加速库,有了它才能在GPU上完成深度学习的计算。安装的cuda版本要注意与本机的显卡驱动适配。
到这里,关于配置环境中一些基本概念已经有了一定的认识,下面开始进行ubuntu下深度学习环境的配置。
第一步:安装anaconda
下载地址:anaconda官网地址、anaconda历史版本地址
下载完成后,进入到下载文件的地址并打开终端,并执行下载好的anaconda文件
$ cd ~/download #你自己的文件路径,我这里下载到了download文件夹下
$ bash Anaconda-4.2.0-linux-x86_64.sh#这里更改为自己的anaconda的文件名
安装过程中提示安装的目录时,按enter键安装到默认目录下,当然也可以自己指定目录。
如果在执行过程中询问是否把Anaconda的bin添加到用户的环境变量中,选择yes!
先更新一下环境变量,在终端输入
source ~/.bashrc
然后在终端输入conda list
如果能像上面这样正确运行没有报错,则说明成功安装。成功安装后一般会在命令行的左侧显示一个(base)字样。
第二步:安装Pytorch
关于显卡的配置主要涉及驱动和cuda Toolkit,后者可以跟着pytorch一键安装(也就是说cuda和cudnn都不需要单独安装)
conda create -n pytorch python=3.8#这里换成对应的anaconda中的python版本,其中的pytorch是创建的虚拟环境的名字,可以创建多个虚拟环境并通过anaconda管理,这也正是anaconda的强大之处
可以通过下面的命令进入到创建的pytorch的环境
conda activate pytorch
下载地址:pytorch官网
这里我选了pytorch1.6.0版本、Linux系统、使用Pip工具、Python语言、cuda9.2(如果没有Nvidia显卡选择None)。选择完成后,会在下面生成一条命令。进入pytorch环境,执行这条命令。
进入pytorch环境,键入python
进入python界面
测试pytorch是否正确安装,输入
import torch
如果没有报错,则说明pytorch安装成功。
测试GPU是否可以使用,输入:
torch.cuda.is_available()
如果结果为True,则说明pytorch可以正常使用GPU,如果是False,很可能的原因是cuda版本和显卡驱动的版本不兼容,这时需要升级显卡驱动的版本。
这是一个令人头大的问题,因为这里不仅要判断显卡的驱动是否安装,还需要保证显卡的驱动版本与cuda的版本适配,必要时要升级显卡驱动。
1.ubuntu中查看显卡型号:
lspci | grep -i nvidia
2.ubuntu中查看显卡驱动的版本(这里显卡驱动的版本为430.26)
nvidia-smi
3.检查cuda版本与显卡驱动的版本是否兼容
下面是cuda和显卡驱动版本的对应关系,如果安装的cuda版本与显卡驱动版本不匹配的话,则需要升级显卡驱动,如果匹配的话,升级显卡驱动这个步骤可以省略。
4.ubuntu中查看显卡驱动是否安装:
首先得安装 mesa-utils
,在终端输入命令:sudo apt-get install mesa-utils
然后再运行命令: glxinfo | grep rendering
如果结果是“yes”,证明显卡驱动已经成功安装。
5.如果需要安装显卡驱动或者升级显卡驱动的版本,在nvidia的官网可以根据计算机显卡的型号选择支持的驱动版本,一般选择比显卡晚1~2年的驱动类型为宜可以在NVIDIA官方网站中输入显卡信息后点击开始查找支持的驱动版本,并根据自身需求(pytorch的版本等)选择合适的版本进行下载。
6.升级显卡驱动后续过程可以参考这篇文章。
第三步:安装Pycharm
下载地址:pycharm官方网址
进入选择community版进行下载
下载完成后,进入下载的文件夹,点击文件夹提取到这里。
进一步进入此文件夹下的bin目录中,执行下面的命令进行安装
cd pycharm-community-2020.2.2/bin
./pycharm.sh
按照提示进行一步步安装即可
在创建工程后,编译环境的选择中,可以选择现存的环境
按shift+enter进入选择环境的界面,选择conda环境,解释器(Interpreter)选择anaconda3下环境变量(envs)中的pytorch环境下的python解释器,点击OK。
创建好一个工程文件后,新建一个python文件,在其中输入
import torch
print(torch.cuda.is_available())
运行,如果没有报错,且第二条程序返回结果为True,则说明环境配置成功,且可以正常使用pytorch和GPU。
也可以先进入pycharm终端,在其中按如下指令进行,如果执行结果如图片所示,说明环境配置成功。
conda activate pytorch
python
import torch
torch.cuda.is_available()
参考文章
关于anaconda的介绍
为什么深度学习和神经网络需要GPU
cuda和cudnn
ubuntu16.04下安装pytorch
ubuntu下安装pycharm
ubuntu16.04安装Anaconda+Pycharm+Pytorch
更多推荐
所有评论(0)