跟我上手深度学习: 五分钟尝试第一个深度学习(Caffe)训练和图像分类(详细图文步骤)
原文:https://my.oschina.net/u/1431433/blog/687393申请深度学习的开发环境Supervessel超能云(www.ptopenlab.com)上可以免费申请深度学习的开发环境。用户可以免费注册一个用户帐号,无须任何信用卡信息,就可以申请。申请了用户帐号后,进入“Supervessel Cloud”申请虚拟机“Apply VM"。如下图:
原文:https://my.oschina.net/u/1431433/blog/687393
申请深度学习的开发环境
Supervessel超能云(www.ptopenlab.com) https://ptopenlab.com/cloudlabconsole/#/ 上可以免费申请深度学习的开发环境。用户可以免费注册一个用户帐号,无须任何信用卡信息,就可以申请。
申请了用户帐号后,进入“Supervessel Cloud”申请虚拟机“Apply VM"。如下图:
登陆之后,进入云平台的控制台(dashboard),选择界面顶部的“More services”,出现"Market Image"的选项,如下图:
进入“Market Image"之后,选择“深度学习”类型下的“GPU Accelerated Caffe Deep Learning Development Environment", 如下图:
点击“Details”,即会弹出对话框,确认要启动一个新的带GPU加速的Caffe深度学习开发环境(容器)。大概过1到2分钟,用户的控制台就可以显示这个新的容器(docker)。在最左边的按钮“More actions"下拉,可以选择“Console“,来进入基于网页的容器登陆环境。或用户可以使用VPN来使用别的ssh终端软件(如putty)进行登陆。关于如何安装和配置VPN,详见以下链接:https://services.ptopenlab.com/mediawiki/index.php/VPN%E7%9A%84%E4%BD%BF%E7%94%A8/en
初次登陆该深度学习容器,系统会强制用户更改用户密码(帐号为opuser,密码查看控制台信息)和root的用户密码(密码查看控制台信息)。至此,准备环境就绪。
深度学习模型训练
在这一部分,我们将以CIFAR10为例子,来给大家介绍如何用Caffe进行最简单的深度学习模型训练。CIFAR10和CIFAR100是很有名并被广泛使用的图像数据集。CIFAR10相对比较简单,是由60000张32X32像素的彩色图片组成,分为10类,每类含6000张图片。这10类图片分别是飞机、车、鸟、猫、鹿、狗、青蛙、马、船和卡车。
我们要做的第一步是下载训练的CIFAR10数据集。在容器中,切换到root权限,执行如下命令:
cd /home/opuser/caffe-master-20150813
./data/cifar10/get_cifar10.sh
get_cifar10.sh就是执行数据集下载的脚本,整个数据集大概100多兆。接着执行:
./examples/cifar10/create_cifar10.sh
create_cifar10.sh是对数据集进行预处理,以便能被Caffe直接处理,并计算数据集的均值。
之后,执行如下命令就可以开始进行模型训练了:
./examples/cifar10/train_quick.sh
在train_quick.sh这个脚本中,主要的输入是 examples/cifar10/cifar10_quick_solver.prototxt 这个文件。这是对这个模型的配置文件,内容如下:
# The train/test net protocol buffer definition
net: "examples/cifar10/cifar10_quick_train_test.prototxt"
# test_iter specifies how many forward passes the test should carry out.
# In the case of MNIST, we have test batch size 100 and 100 test iterations,
# covering the full 10,000 testing images.
test_iter: 100
# Carry out testing every 500 training iterations.
test_interval: 500
# The base learning rate, momentum and the weight decay of the network.
base_lr: 0.001
momentum: 0.9
weight_decay: 0.004
# The learning rate policy
lr_policy: "fixed"
# Display every 100 iterations
display: 100
# The maximum number of iterations
max_iter: 4000
# snapshot intermediate results
snapshot: 4000
snapshot_prefix: "examples/cifar10/cifar10_quick"
# solver mode: CPU or GPU
solver_mode: GPU
该文件定义了深度神经网络的文件 cifar10_quick_train_test.prototxt,迭代次数4000,以及使用GPU进行模型训练等重要参数。
在模型训练的过程中,每迭代100次,会打印一次输出结果。直到最后输出:
Snapshotting to binary proto file examples/cifar10/cifar10_quick_iter_4000.caffemodel
Snapshotting solver state to binary proto fileexamples/cifar10/cifar10_quick_iter_4000.solverstate
Iteration 4000, loss = 0.599427
Iteration 4000, Testing net (#0)
Test net output #0: accuracy = 0.7159
Test net output #1: loss = 0.863218 (* 1 = 0.863218 loss)
Optimization Done.
首先,训练后得到的模型存在文件 cifar10_quick_iter_4000.caffemodel 中,该模型文件将用于后面进行测试和分类应用。solverstate文件比起.caffemodel文件多了模型名称、当前迭代次数等。solverstate是用来恢复训练的,防止意外终止而保存的快照(有点像断点续传的感觉)。
在训练过程,Caffe会根据.prototxt文件的定义,随机选取数据集中的一部分数据进行模型精度测试,所以本次训练所得到的模型精度为 0.7159.
至此,我们第一个模型训练就完成了。
利用训练模型进行图片分类
深度学习的目的是要让我们的应用获得认知能力。假设我们要开发一个图片分类应用,我们已经使用Caffe通过前面的步骤训练得到一个懂得10个分类的学习模型。在这部分,我们要做的是如何把这个模型使用起来,为我们的应用服务。
更多推荐
所有评论(0)