[发明专利]一种基于深度学习的人体轮廓提取方法

权利要求书

1.一种基于深度学习的人体轮廓提取方法，其特征在于，具体按照以下步骤实施：

步骤1，提取原始图像的Gabor纹理特征；

步骤2，提取原始图像的Canny边缘特征；

步骤3，搭建适用于人体轮廓提取的卷积神经网络架构：

步骤3.1，以VGG16网络模型为基础对VGG16网络结构进行修改，将VGG16网络模型中的5个卷积层缩减至4个，每个卷积层后接一个池化层，选择最大池化，池化窗口大小选择为2*2，移动步长为2；

设P为未知点的像素，Q₁₁,Q₁₂,Q₂₁,Q₂₂为P点周围已知像素的四个点，则已知函数f在Q₁₁＝(x₁,y₁)，Q₁₂＝(x₁,y₂)，Q₂₁＝(x₂,y₁)和Q₂₂＝(x₂,y₂)四个点的值，通过在x方向进行线性插值，得到两个中间点R₁，R₂的像素值f(R₁)和f(R₂)，则将被池化的层填充得到原图像的大小：

其中，R₁＝(x,y₁)，R₂＝(x,y₂)；

再结合R₁，R₂在y方向进行线性插值，得到未知点P的像素值f(P)：

最终得到未知点P的像素结果f(x,y)为：

进而生成反卷积结构；

步骤3.2，在步骤3.1的基础上引入网络中网络，即将每个原始的卷积层结构替换为MLP卷积层结构，具体为：

在一个原始卷积层后接若干个卷积核为1×1的卷积层，通过式(13)计算每一卷积层对上一卷积层的特征图：

式(13)中，(x,y)是特征图的像素索引，a_xy是中心在(x,y)的输入块，k_t为特征图的索引，t为MPL的层数，f为激活函数，w为权值系数，b为偏置；

再通过ReLU激活输出当前层的特征图；

步骤3.3，在经步骤3.2处理的卷积层与反卷积层之间加入dropout层防止网络过拟合，则构成一个对称的卷积神经网络；

卷积神经网络为：

第一层为输入层，该层输入尺寸为：224*224*12；

第二层为卷积层，该层输入尺寸为：112*112*8；

第三层为卷积层，该层输入尺寸为：56*56*16；

第四层为卷积层，该层输入尺寸为：28*28*32；

第五层为dropout层，该层输入尺寸为：28*28*64；

第六层为反卷积层，该层输出尺寸为：56*56*32；

第七层为反卷积层，该层输出尺寸为：112*112*16；

第八层为反卷积层，该层输出尺寸为：224*224*8；

第九层为输出层，该层输出尺寸为224*224*1；

每个卷积层都有三个卷积子层，每两个3*3卷积核中间为一个1*1卷积核；

步骤4，将原始图像、步骤1提取的Gabor纹理特征图、步骤2提取的Canny边缘特征图共同传入步骤3构建好的卷积神经网络进行训练，生成CNN人物模型；

步骤4.1，将步骤1得到的8个方向的Gabor特征、步骤2得到的Canny边缘特征及原始图像的RGB三通道特征组成12个特征通道；

步骤4.2，将步骤4.1得到的12个特征通道的图像尺寸调整为224*224，再将12个特征通道传入步骤3构建好的卷积神经网络，以原始图像的groundtruth标签图作为CNN的教师信号进行训练，生成CNN人物模型；

步骤5，对训练好的CNN人物模型的结构进行测试，得到人体轮廓图像；

步骤6，通过步骤5的测试过程记录人体轮廓图像的重叠率与耗时，对人体轮廓图像进行评估。