[发明专利]使用全卷积神经网络分割定格动画中人手部区域的方法

权利要求书

1.使用全卷积神经网络分割定格动画中人手部区域的方法，其特征在于，包括以下步骤：

1)数据输入

给定的一个定格动画中的关键帧，将其保存为jpg格式图片，对图片的分辨率没有固定要求，但是同一个定格动画中的每个关键帧的分辨率必须相同，将jpg格式的图片作为网络的输入，由网络直接读取；

2)使用全卷积神经网络进行特征提取和初步分割

使用一个全卷积神经网络对输入的数据进行特征提取，并进行初步的分割，全卷积神经网络的输出将是一张单通道的图片，是对人手部区域的初步分割图像；

3)使用条件随机场CRF对分割效果进行优化

使用一个条件随机场算法对全卷积神经网络输出的初步分割图像进行分割优化，这个优化将会进一步提升分割的效果；

4)对网络模型进行训练

对由全卷积神经网络以及条件随机场组成的网络模型进行训练，训练使用包含人体手部区域的图像的数据集进行训练；

5)使用完成训练的模型对输入图片进行分割

条件随机场算法输出的同样是一张单通道的图片，是对人手部的区域的进一步分割图像，保存的图像格式为png格式。

2.根据权利要求1所述的使用全卷积神经网络分割定格动画中人手部区域的方法，其特征在于：在步骤2)中，使用的全卷积神经网络分为两个部分，第一个部分采取多层卷积层和池化层堆叠的方式，形成一个特征提取的过程；而第二部分则采用反卷积层进行上采样，获得网络的分割结果；

第一个部分的网络结构是单一的卷积层与池化层的重复：首先是两层的卷积层与一层池化层，池化层采用的是最大池化方法，接着同样是两层卷积层与一层池化层，接下来是三层卷积层与一层池化层，再接着是将这个三层卷积层与一层池化层的结构重复两次，即三层卷积层、一层池化层以及三层卷积层、一层池化层，总共六层卷积层、两层池化层，以上各卷积层参数设置除卷积核数量外均相同，各池化层参数设置相同，在最后的池化层后连接的是将全连接层转化而成卷积层，这样的卷积层共有两层，这里说的转化，实际上是将卷积操作从对1个像素单位操作改为对多个像素单位操作，即改变卷积核的大小，这样的做法能减少参数数目，同时能够提取到图像高维的特征；最终，第一个部分的结构一共组成20层的结构网络；其中，需要提到的一点是：第一部分的网络结构中的卷积层结果输出的图像尺寸均是与输入图像尺寸相同的，因此，在这个部分的网络当中，会使图像尺寸缩小的只有池化层，池化层会使图像长度缩小2倍，宽度缩小2倍，由于存在5个池化层，因此，第一部分网络最后的卷积层输出将是比原始图像长宽各缩小32倍的特征图；

第二部分的网络结构是输出最后的分割结果的，因此将这部分结构看作输出层：首先将第一部分网络最后的输出再次经过一个附加的卷积层，反卷积层以及卷积层进行处理，反卷积层会将输入扩大2倍，此时，为了将浅层信息加入考虑，将第一部分网络的第4层池化层输出与这里附加的最后一层卷积层的输出融合起来，这里的融合实际上是一个加和过程，即对每个像素的像素值进行加和，这里将融合后的输出结果称为融合1，将融合1的结果经过一个反卷积层，此后再经过一个卷积层处理，同样反卷积层会将输入扩大2倍，随后，类似地，这个卷积层的输出将会与第一部分网络的第3层池化层输出进行融合，这个融合同样是像素值加和过程，这里称这个结果为融合2，融合2会经过一个反卷积层，反卷积层将输入扩大8倍，最终得到网路的预测结果，该结果将输入到下一步骤进行优化。