基于cifar10数据集CNN卷积网络的实现

Cifar-10数据集是深度学习领域一个常见的数据集。Cifar-10由60000张32*32的RGB彩色图片构成，一共包含有飞机、汽车、鸟、毛、鹿、狗、青蛙、马、船、卡车这10个类别。50000张训练，10000张测试。常被用来作为分类任务来评价深度学习框架和模型的优劣。本教程采用CNN16层神经网络训练

2345VOR

4922人浏览 · 2021-12-26 20:07:54

2345VOR · 2021-12-26 20:07:54 发布

1.CNN简介

CNN是卷积神经网络的简称，是深度学习的算法之一，目前在图像的分割领域有着广泛的应用。因为卷积神经网络概念很多可以参考如下的博客：
1、CNN笔记：通俗理解卷积神经网络：https://blog.csdn.net/v_JULY_v/article/details/51812459
2、卷积神经网络（CNN）详解https://zhuanlan.zhihu.com/p/47184529

2.环境配置

采用Anaconda3配置的python环境，选择TensorFlow-CPU2.1版本（本人TensorFlow-GPU测试不成功），需要额外导入matplotlib库。具体可以参照：【北京大学】Tensorflow2.0
项目工程文件

3. 数据集准备

这里我们使用cifar10数据集，下面对cifar10数据集做个简单介绍，参考博客为：https://blog.csdn.net/DaVinciL/article/details/78793067。

3.1 CIFAR-10数据集

CIFAR-10数据集由10类32x32的彩色图片组成，一共包含60000张图片，每一类包含6000图片。其中50000张图片作为训练集，10000张图片作为测试集。CIFAR-10数据集被划分成了5个训练的batch和1个测试的batch，每个batch均包含10000张图片。测试集batch的图片是从每个类别中随机挑选的1000张图片组成的,训练集batch以随机的顺序包含剩下的50000张图片。不过一些训练集batch可能出现包含某一类图片比其他类的图片数量多的情况。训练集batch包含来自每一类的5000张图片，一共50000张训练图片。下图显示的是数据集的类，以及每一类中随机挑选的10张图片，如图 1 CIFAR-10数据集：
在这里插入图片描述

图 1 CIFAR-10数据集

3.2 tensorflow2.0下载

tensorflow2.0下载数据集准备，使用如下代码即可完成下载。

cifar10 = tf.keras.datasets.cifar10

但是需要科学上网，官方给出了多个CIFAR-10数据集的版本，如表格 1 CIFAR-10数据集的版本以下是链接：
表格 1 CIFAR-10数据集的版本

Version	Size	md5sum
CIFAR-10 python version	163 MB	c58f30108f718f92721af3b95e74349a
CIFAR-10 Matlab version	175 MB	70270af85842c9e89bb428ec9976c926
CIFAR-10 binary version (suitable for C programs)	162MB	c32a1d4ab5d03f1284b67883e8d87530

此处我们下载python版本。下载完成后，解压，放到我截图中的位置即可，如图 2 数据集路径。
在这里插入图片描述
图 2 数据集路径

4 tensenflow2.0中关于卷积相关函数简介

4.1 数据集加载函数

cifar10 = tf.keras.datasets.cifar10
(x_train,y_trian),(x_test,y_test) = cifar10.load_data()

这里我们使用tf中keras模块加载数据集，最后会返回两个元组，一个为训练集，一个为测试集，函数为load_data()

4.2 Conv2D

tf.keras.layers.Conv2D(
    filters, kernel_size, strides=(1, 1), padding='valid', data_format=None,
    dilation_rate=(1, 1), activation=None, use_bias=True,
    kernel_initializer='glorot_uniform', bias_initializer='zeros',
    kernel_regularizer=None, bias_regularizer=None, activity_regularizer=None,
    kernel_constraint=None, bias_constraint=None, **kwargs
)

该函数将创建一个卷积核，这里我只使用filters（卷积核）,kerel_size(卷积核大小),strides(步长),padding(全零填充，valid表示不使用全零填充，same表示使用全零填充)

4.3 BatchNormalization

tf.keras.layers.BatchNormalization(
    axis=-1, momentum=0.99, epsilon=0.001, center=True, scale=True,
    beta_initializer='zeros', gamma_initializer='ones',
    moving_mean_initializer='zeros', moving_variance_initializer='ones',
    beta_regularizer=None, gamma_regularizer=None, beta_constraint=None,
    gamma_constraint=None, renorm=False, renorm_clipping=None, renorm_momentum=0.99,
    fused=None, trainable=True, virtual_batch_size=None, adjustment=None, name=None,
    **kwargs
)

该函数为披标准化函数，作用为：加速收敛、控制过拟合，可以少用或不用Dropout和正则、降低网络对初始化权重不敏感、允许使用较大的学习率。

4.4 Activation

tf.keras.layers.Activation(
    activation, **kwargs
)

指定当前神经网络层激活函数，这里我们使用relu激活函数，

4.5 MaxPool2D

tf.keras.layers.MaxPool2D(
    pool_size=(2, 2), strides=None, padding='valid', data_format=None, **kwargs
)

最大池化函数，pool_size(池化层大小),strides(步长),padding(是否使用全零填充，valid表示不使用全零填充，same表示使用全零填充)

4.6 Dropout

tf.keras.layers.Dropout(
    rate, noise_shape=None, seed=None, **kwargs
)

该函数用来随机舍弃神经元，防止训练过程中出现过拟合情况，我们只用rate
总结：在搭建卷积神经网络过程中我们使用到了如下的口诀，CBAPD，分别对应tf函数为Conv2D，BatchNormalization，Activation，MaxPool2D，Dropout，请记住，卷积就是特征提取器，在下边的代码中我们会遵循CBAPD来实现一个卷积神经网络

5 基础卷积神经网络实现

这里我们要搭建一个这样结构的卷积神经网络，CBAPD，CBA，CBAPD，全连接层（12812810）
在这里插入图片描述

5.1 加载数据集

cifar10 = tf.keras.datasets.cifar10
(x_train,y_trian),(x_test,y_test) = cifar10.load_data()

5.2 归一化处理

运用归一化处理能够加快神经网络收敛速度

x_train,x_test = x_train/255.0,x_test/255.0

5.3 搭建卷积模型（重点）

这里我们不同于我之前的博客，我们使用类的方式来搭建CNN，随后的博客中也只需要更改3中的卷积模块即可实现功能。
这里我们指定一个类，继承自tf.keras.Model

class Baseline(Model):

然后弄一个初始化函数

def __init__(self):

再实现父类的init方法

super(Baseline,self).__init__()

完整代码如下

class Baseline(Model):
    def __init__(self):
        super(Baseline,self).__init__()
        self.c1 = Conv2D(filters=6,kernel_size=(5,5),padding="same")#卷积层
        self.b1 = BatchNormalization()#BN层
        self.a1 = Activation("relu")
        self.p1 = MaxPool2D(pool_size=(2,2),strides=2,padding="same")#池化层
        self.d1 = Dropout(0.2)
        self.c2 = Conv2D(filters=12,kernel_size=(5,5),padding="same")
        self.b2 = BatchNormalization()
        self.a2 = Activation("relu")
        self.c3 = Conv2D(filters=24,kernel_size=(5,5),padding="same")
        self.b3 = BatchNormalization()
        self.a3 = Activation("relu")
        self.p3 = MaxPool2D(pool_size=(2,2),strides=2,padding="same")
        self.d3 = Dropout(0.2)
        self.flatten = Flatten()
        self.f1 = Dense(128,activation="relu")
        self.d4 = Dropout(0.2)
        self.f2 = Dense(128,activation="relu")
        self.d5  =Dropout(0.2)
        self.f3 = Dense(10,activation="softmax")

结合CBAPD是不是显得很清晰呢，到这里我们完成了网络结构的搭建，现在我们还要过一遍前向传播
我们使用call函数来表示

def call(self,x):
    x = self.c1(x)
    x = self.b1(x)
    x = self.a1(x)
    x = self.p1(x)
    x = self.d1(x)
    x = self.c2(x)
    x = self.b2(x)
    x = self.a2(x)
    x = self.c3(x)
    x = self.b3(x)
    x = self.a3(x)
    x = self.p3(x)
    x = self.d3(x)
    x = self.flatten(x)
    x = self.f1(x)
    x = self.d4(x)
    x = self.f2(x)
    x = self.d5(x)
    y = self.f3(x)
    return y

5.4 训练过程参数配置

这里可以参考我之前的这篇博客，细节讲解全在里边了https://blog.csdn.net/JohnLeeK/article/details/106423634

5.4.1 指定学习率，优化器等

model.compile(optimizer = tf.keras.optimizers.Adam(
    learning_rate = 0.001,beta_1 = 0.9,beta_2 = 0.999#自定义动量，adam和学习率，也是为了提高准确率
),
              loss = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False),
              metrics = ["sparse_categorical_accuracy"]
              )

5.4.2 断点续训：

checkpoint_save = "./checkpoinCNNBase/Baseline.ckpt"
if os.path.exists(checkpoint_save+".index"):
    print("---------------load the model----------------------")
    model.load_weights(checkpoint_save)
cp_callback = tf.keras.callbacks.ModelCheckpoint(
    filepath = checkpoint_save,
    save_weights_only = True,
    save_best_only = True
)

5.4.3 将数据喂入神经网络

history = model.fit(
    x_train,y_trian,batch_size = 2048,epochs = 300,validation_data = (x_test,y_test),
    validation_freq = 1,callbacks = [cp_callback]
)

5.4.4 打印网络结构

model.summary()

5.4.5 保存权重

file = open("./cifar10_weights.txt","w")
for v in model.trainable_variables:
    file.write(str(v.name)+"\n")
    file.write(str(v.shape)+"\n")
    file.write(str(v.numpy())+"\n")
file.close()

5.4.6 绘制准确率和损失函数并保存

acc = history.history["sparse_categorical_accuracy"]
val_acc = history.history["val_sparse_categorical_accuracy"]
loss = history.history["loss"]
val_loss = history.history["val_loss"]
plt.subplot(1,2,1)
plt.plot(acc,label = "Training Acc")
plt.plot(val_acc,label = "Validation Acc")
plt.title("Training and Validation Acc")
plt.legend()
plt.subplot(1,2,2)
plt.plot(loss,label = "Training Loss")
plt.plot(val_loss,label = "Validation Loss")
plt.title("Trainning and Validation Loss")
plt.legend()
plt.savefig("./day4_cifar1_baseline")

6 结果展示

训练结果如图 3 训练结果acc和loss可视化
在这里插入图片描述

图 3 训练结果acc和loss可视化
这里可以看到在经过300轮的训练之后我们的神经网络，对cifar10数据集的分类准确率能达到80%以上，但是我们还可以发现80%并不是最优的结果，从图中观察可以发现准确率曲线没有趋于平滑，还有上升的趋势，原因如下：
1.我训练次数偏少只训练了300轮，对于当前网络模型并未达到最优解
2.我并未对神经网络结构进行优化，卷积层数较少，特征提取能力较弱
3.全连接层偏少分类预测率较低