【Pytorch】prototypical network原型网络小样本图像分类简述及其实现

基本概念小样本学习(Few-Shot Learning, FSL)，顾名思义，就是能够仅通过一个或几个示例就快速建立对新概念的认知能力。这对于人类来说很简单，比如一个警察完全可以单凭一张照片就能在茫茫人海中认出犯罪嫌疑人。实现小样本学习的方式也有很多，比如：度量学习、数据增强、预训练模型、元学习等等。元学习(meta learning或learning to learn)，对于一族待解决的多个任务

Jnchin

9980人浏览 · 2021-10-04 11:11:01

Jnchin · 2021-10-04 11:11:01 发布

基本概念

小样本学习(Few-Shot Learning, FSL)任务，顾名思义，就是能够仅通过一个或几个示例就快速建立对新概念的认知能力。实现小样本学习的方式也有很多，比如：度量学习、数据增强、预训练模型、元学习等等，其中元学习是目前广泛使用的处理小样本学习问题的方法。

元学习(meta learning或learning to learn)，也称学会学习，元学习算法能够在学习不同任务的过程中积累经验，从而使得模型能够快速适应新任务。

元学习与一般的监督学习的区别：

一般的监督学习是在训练集上训练出一个函数映射 $f$ ，这个函数可以识别出哪张图片是狗，哪张是猫。输入是某张图片，输出是标签。

元学习算法则是让模型学会学习，即在训练集上学习出一个函数 $F$ ， $F$ 可以自动学习出一个函数 $f^*$ ，他可以分辨出哪张图片是狗，哪张是猫。 $F$ 的输入是一个个的图片集合，输出是函数 $f^*$ ， $f^*$ 的输入是某张图片，输出是标签。

可以这么理解使用元学习算法的小样本学习任务：我有一个数据集{大象，老虎，狮子}，小样本学习并非是让模型识别出哪个是老虎、大象或者狮子，而是学习出每个类别之间的差异，以便在新的数据集（比如：{汽车、电视、沙发、鼠标}）中更好的分类。

小样本学习图片分类的基本思想

为了更形式化评估元学习算法，在分类问题上，元学习的数据形式和一般监督学习的数据形式也有所不同，最小的数据点不再是一张图片，而是一个一个的小任务。每个小任务中有 $N$ 个类别，每个类别有 $K$ 张图片，我们称这些任务为N-way K-shot图像分类任务，一共有 $episodes$ 个小任务。当K值很小时（一般K<10），该任务就是小样本图像分类任务了。当K=1时，该任务即为单样本图像分类任务。

除此之外我们还需要知道两个重要概念：

支持集（Support Set）：相当于每个小任务中的训练集，包含N个分类标签，每个标签有K张图片。
查询集（Query Set）：相当于每个小任务中的测试集，包含Q张未分类的图片。

如下图，为一个3-way 2-shot图像分类任务，蓝色板块是支持集，绿色的是查询集：

注意，对于元学习而言，上图的3-way 2-shot图像分类任务只是一个数据点，完整的数据集及其训练集-测试集划分如下图所示：

元学习流派

Black Box / Model-based
为小数据集场景专门制定一个能够快速变化参数的模型。代表作有：MANN，MetaNet等。

Optimization Based
通过让模型快速优化自己的参数来实现小样本学习。代表作有：MAML，NAIL，Reptile等。

Metric Based（基于度量的方法）
也是目前主流的方法，通过学习一个Encoder，将数据映射到一个表征空间，然后使用无参的Decoder来进行分类。代表作有Matching Network，Prototypical Network等。

Prototypical Network基本原理

以一个episode为例，其中包含 {狗，虫子，鸟} 三个类别的图片。

1、首先，对支持集中的每张图片使用编码器 $f_\varphi (x_i)$ 进行信息提取，学习到每张图片的Embedding编码表示。（编码器可以选择常规的卷积操作、resnet系列、vit等等）

2、然后对支持集的每个类别下的Embeddings做均值处理，得到每个类别的原型表示（class Prototype）。

3、对查询集中的图片进行分类。首先使用编码器 $f_\varphi (x_i)$ 将查询集图片进行编码，得到该图片的Embedding向量表示。

4、然后拿着这个Embedding表示和类别原型进行相似度计算，也就是无参的解码过程。（相似度计算的方式很多，可以是欧氏距离或者余弦相似度等）

5、计算完相似度后，往往还需要使用softmax将相似度激活成概率分布。

最终得到查询集图片的分类标签，然后和真实值标签做交叉熵loss，然后梯度反向传播即可完成一个episode的训练。

Prototypical Network算法描述

1、假设原始数据集为D，对于每一个episode，包含一个支持集和一个查询集，即 $D_{episode}=D_{support}\cup D_{query}=\left \{ s_i \right \}^{n_s}_{i=1}\cup \left \{ q_i \right \}^{n_q}_{i=1}$ 。