[发明专利]基于对称性和群论的物体-属性组合图像识别方法

说明书

一种基于对称性和群论的物体‑属性组合图像识别方法，以包含属性标注的数据集作为训练样本对包括特征提取器、耦合网络和解耦网络的神经网络进行训练；然后采用特征提取器提取待测图像的特征向量与待判断属性一同输入耦合网络和解耦网络，分别得到两个对应转换后的特征向量，通过在高维特征空间判断耦合网络转换前后特征向量的距离确定待测图像是否包含待判断属性；最后将待判断属性的检测结果与神经网络的物体检测输出结合得到识别结果。本发明能够并行计算，计算速度较快，有很好的高效性、即时性、鲁棒性。

技术领域

本发明涉及的是一种图像识别和人工智能领域的技术，具体是一种基于对称性和群论的物体-属性组合图像识别方法。

背景技术

属性识别的目标是检测出物体视觉上的语义特征，包含了物体的颜色、形状、材质、组成部分等细粒度的信息；而组合零样本学习的目标是在候选物体和属性类别均有测试样本的情况下，对于零样本的物体-属性组合(存在训练中未出现的组合时)进行识别，是迁移学习的一个方向。物体与属性检测两者均是物体感知的不可缺少的一部分，可以广泛地应用到动作识别和检测、图像描述、视觉问答、行人重识等任务中，是未来通用人工智能、机器人必不可少的能力。但是，目前关于视觉属性的研究大多关注在如何使用属性，而忽视了属性识别任务本身。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于对称性和群论的物体-属性组合图像识别方法，采用一对结构相同功能互逆的神经网络进行训练，并通过比较两个网络对图像特征的影响程度来预测图像属性，识别性能非常理想，且是端对端模型，可以并行计算，计算速度较快，有很好的高效性、即时性、鲁棒性。

本发明是通过以下技术方案实现的：

本发明涉及一种基于对称性和群论的物体-属性组合图像识别方法，以包含属性标注的数据集作为训练样本对包括特征提取器、耦合网络和解耦网络的神经网络进行训练；然后采用特征提取器提取待测图像的特征向量与待判断属性一同输入耦合网络和解耦网络，分别得到两个对应转换后的特征向量，通过在高维特征空间判断耦合网络转换前后特征向量的距离确定待测图像是否包含待判断属性；最后将待判断属性的检测结果与神经网络的物体检测输出结合得到识别结果。

所述的高维特征空间判断是指：计算耦合网络转换前后特征向量的欧式距离，当欧式距离大于耦合网络输出特征向量与原特征向量的距离，则待测图像包含待判断属性。

所述的特征提取器采用ImageNet数据集预训练的残差卷积神经网络，用于从图像中提取特征向量；用于给物体特征添加属性的耦合网络和用于从物体特征中去除属性的解耦网络分别为一对功能互逆的神经网络。

所述的特征向量为：512维浮点类型向量。

所述的耦合网络和解耦网络结构相同，均包括：两层768维接收输入属性词向量的全连接层、sigmoid激活层、两层768维输出特征向量的全连接层以及设置于每两个全连接之间的批归一化层和ReLU非线性激活层，其中：两层768维全连接层将输入的属性词向量转换为注意力向量，与输入特征向量相乘，再与原特征向量相加，随后与属性词向量拼接。

所述的对神经网络进行训练，即将训练样本输入特征提取器，用耦合网络和解耦网络对特征提取器提取的特征向量进行损失函数的计算，并加权求和得到总损失，然后用梯度优化方法反向传播，迭代更新耦合网络和解耦网络的权重。

所述的损失函数包括：对称性损失、基于群论的损失函数、分类损失和三元组损失，其中：对称性损失来自属性的对称性，即包含某一属性的物体再添加该属性应保持不变，而不包含某一属性的物体再去除该属性也应保持不变；基于群论的损失函数函数由封闭性、逆元和结合性三个代数中群的公理导出；分类损失来自于变换前后物体种类保持不变而属性种类发生的变化；三元组损失用来衡量在施加耦合和解耦操作后，物体特征在高维空间移动是否符合对称性规定的相对距离大小关系。

所述的加权求和的权值，优选针对不同的数据集，使用交叉验证获得合适的子损失函数权重。