[发明专利]一种基于双层次结构的草图识别方法

说明书

本发明公开了一种基于双层次结构的草图识别方法，针对目前多数草图识别方法未考虑形状特征的现状，该方法提出利用双层次结构同时编码形状特征和视觉特征用于草图识别。包括：获取两种格式的草图样本，基于卷积神经网络提取深度特征的层次化思想构建多层次形状网络，通过构建多尺度残差块、内层残差块和外层残差块搭建多层次视觉网络。基于草图样本，使用交叉熵损失训练形状网络，使用交叉熵损失和权重压缩三元组中心损失训练视觉网络。将形状网络、视觉网络与乘法融合层结合获取双层次结构。最后，将草图测试样本输入双层次结构进行识别测试。本发明不要求草图样本含有笔画信息，且无需微调过程，训练过程简单，草图识别效果具有明显优势。

技术领域

本发明属于计算机视觉领域，尤其涉及基于一种基于双层次结构的草图识别方法。

背景技术

与图像明显不同，草图具有较高的抽象性，通常只包含物体的轮廓信息和一些简单的细节。因此，用形状特征和视觉特征共同表达草图内容更为合理。然而，之前的研究成果很少同时考虑这两种关键特征。相关的研究方法主要包括手工特征方法和深度学习方法。其中，手工特征方法主要依据图像识别的关键技术，设计手工特征并结合用于局部特征的聚合表征方法生成草图视觉特征，最终训练分类器进行分类识别。而深度学习方法通常结合草图的特点或性质如：笔画序列信息，“线段-笔画-草图”的层次关系，草图稀疏性等，设计卷积神经网络、循环神经网络、Transformer等结构实现草图识别。尽管深度学习方法已经超过人类水平，但据我们所知，多数深度学习方法存在以下问题：1、需要训练的数据集通常包含笔画序列信息。2、缺乏对形状特征的描述。3、训练方法及过程较为繁琐。4、受噪声样本影响较大。为了提高草图识别方法的性能，同时能够解决上述问题，本发明提出了一种简单而高效的基于双层次结构的草图识别方法，其中，双层次结构保证该识别方法可以同时结合形状特征和视觉特征，乘法融合层可以保证所提结构近似为一种端到端网络使训练过程更为简洁，而权重压缩三元组中心损失降低了噪声样本的负面影响。

发明内容

本发明为了解决上述缺陷，提出一种基于双层次结构的草图识别方法。

为解决上述技术问题，本发明所采用的技术方案是：

一种基于双层次结构的草图识别方法，该方法包括：

获得两种格式的草图样本，所述草图样本包括二维图像和二维点集合；

基于卷积神经网络提取深度特征的层次化思想构建多层次形状网络；

通过构建多尺度残差块、内层残差块和外层残差块搭建多层次视觉网络；

利用交叉熵损失训练多层次形状网络，利用交叉熵损失和权重压缩三元组中心损失训练多层次视觉网络；

将训练后的多层次形状网络、多层次视觉网络与乘法融合层结合，获得双层次结构，并将两种格式的草图样本输入至双层次结构获得识别结果。

进一步：所述获得两种格式的草图样本，所述草图样本包括二维图像和二维点集合包括：

对所述草图样本增强处理，获得二维图像，其中，所述草图样本增强处理包括对草图样本进行缩放，对缩放后的草图样本进行向左或向右进行旋转，对旋转后的草图样本进行随机水平翻转，对随机水平翻转的草图样本进行随机裁剪。

进一步：所述获得两种格式的草图样本，所述草图样本包括二维图像和二维点集合还包括：通过最远点采样法对所述二维图像进行处理，获得二维点集合。

进一步：所述双层次结构包括：多层次形状网络、多层次视觉网络、权重压缩三元组中心损失和乘法融合层。

进一步：所述多层次形状网络依据卷积神经网络提取深度特征的基本思想，通过不断地选择计算点并聚合计算点的局部特征构建层次化形状网络，所述多层次形状网络包括四个点卷积块，一个池化层和两个全连接层。