[发明专利]基于对称性和群论的物体-属性组合图像识别方法

权利要求书

1.一种基于对称性和群论的物体-属性组合图像识别方法，其特征在于，以包含属性标注的数据集作为训练样本对包括特征提取器、耦合网络和解耦网络的神经网络进行训练；然后采用特征提取器提取待测图像的特征向量与待判断属性一同输入耦合网络和解耦网络，分别得到两个对应转换后的特征向量，通过在高维特征空间判断耦合网络转换前后特征向量的距离确定待测图像是否包含待判断属性；最后将待判断属性的检测结果与神经网络的物体检测输出结合得到识别结果；

所述的在高维特征空间判断是指：将待检测的图像样本拉伸为固定的224×224大小，并用相同的预训练特征提取器提取512维特征向量，并用训练好的线型网络升维到768维；将图像特征向量输入耦合网络和解耦网络，对于每一个属性，都计算耦合网络和解耦网络转换后的向量与原始特征向量的欧式距离d₊,d_-，将解耦网络和耦合网络移动距离的距离之差输入sigmoid函数，得到包含该属性的概率p＝Sigmoid(d_--d₊)；

所述的结合得到识别结果是指：将图像的属性概率与线性分类器输出的物体概率相乘，得到组合的概率，即作为组合零样本识别的预测输出。

2.根据权利要求1所述的图像识别方法，其特征是，所述的特征提取器采用ImageNet数据集预训练的残差卷积神经网络，用于从图像中提取特征向量；用于给物体特征添加属性的耦合网络和用于从物体特征中去除属性的解耦网络分别为一对功能互逆的神经网络。

3.根据权利要求1所述的图像识别方法，其特征是，所述的耦合网络和解耦网络结构相同，均包括：两层768维接收输入属性词向量的全连接层、sigmoid激活层、两层768维输出特征向量的全连接层以及设置于每两个全连接之间的批归一化层和ReLU非线性激活层，其中：两层768维全连接层将输入的属性词向量转换为注意力向量，与输入特征向量相乘，再与原特征向量相加，随后与属性词向量拼接。

4.根据权利要求1所述的图像识别方法，其特征是，所述的神经网络，通过以下方式进行训练，即将训练样本输入特征提取器，用耦合网络和解耦网络对特征提取器提取的特征向量进行损失函数的计算，并加权求和得到总损失，然后用梯度优化方法反向传播，迭代更新耦合网络和解耦网络的权重。

5.根据权利要求4所述的图像识别方法，其特征是，所述的损失函数包括：对称性损失、基于群论的损失函数、分类损失和三元组损失，其中：对称性损失来自属性的对称性，即包含某一属性的物体再添加该属性应保持不变，而不包含某一属性的物体再去除该属性也应保持不变；基于群论的损失函数函数由封闭性、逆元和结合性三个代数中群的公理导出；分类损失来自于变换前后物体种类保持不变而属性种类发生的变化；三元组损失用来衡量在施加耦合和解耦操作后，物体特征在高维空间移动是否符合对称性规定的相对距离大小关系。

6.根据权利要求4所述的图像识别方法，其特征是，所述的加权求和的权值，针对不同的数据集，使用交叉验证获得合适的子损失函数权重。

7.根据权利要求1所述的图像识别方法，其特征是，所述的神经网络，通过以下方式进行训练，先用高斯分布采样对耦合网络和解耦网络的参数进行初始化，具体为：全联接层的权重系数初始值用均值0、标准差0.01的高斯分布随机采样得到，偏置系数初始化为0。

8.根据权利要求5所述的图像识别方法，其特征是，所述的对称性损失，具体为：包含某属性的图像特征经耦合网络转换后与原特征的欧式距离，以及不包含某属性的图像特征经解耦网络转换后与原特征的欧式距离，即：其中：表示包含物体o，属性i的图像特征向量，T₊(aⁱ)指属性i的耦合网络，T_-(a^j)属性j的解耦网络。