[发明专利]基于神经网络的多模态互补服装搭配方法、系统及介质

权利要求书

1.基于神经网络的多模态互补服装搭配方法，其特征是，包括：

步骤(1)：从服装的图片中获取视觉特征，同时，从服装的文字描述中获取文本特征；

步骤(2)：利用自编码器学习不同服装的视觉特征和文本特征的兼容性空间，得到视觉特征的隐含表示和文本特征的隐含表示；

步骤(3)：利用解码器将步骤(2)得到的视觉特征的隐含表示和文本特征的隐含表示解码为重建向量；建立重建向量分别与输入特征之间的关系模型；

步骤(4)：基于步骤(2)得到的视觉特征的隐含表示和文本特征的隐含表示，建立服装兼容性模型；然后，基于服装兼容性模型，采用贝叶斯个性化排序算法构建兼容性偏好模型；

步骤(5)：基于步骤(2)得到的视觉特征的隐含表示和文本特征的隐含表示，建立视觉特征隐含表示和文本特征隐含表示的一致性模型；然后，建立服装的多模态隐含特征一致性模型；

步骤(6)：基于步骤(3)、步骤(4)和步骤(5)的计算结果，构建基于深度神经网络的多模态互补服装搭配模型；对已经构建的多模态互补服装搭配模型进行训练；利用已经训练好的多模态互补服装搭配模型进行服装搭配推荐；

步骤(3)中：建立重建向量与输入特征之间的关系模型的步骤为：

其中，l_AE(x)表示服装x重建向量与视觉特征和文本特征之间的关系模型；l(v_x)表示服装x的视觉重建向量与视觉特征的重建误差；l(c_x)表示服装x的文本重建向量与文本特征的重建误差；表示服装x的视觉重建向量；v_x表示服装x的视觉特征；表示服装x的文本重建向量；c_x表示服装x的文本特征；

建立整个服装的重建向量与输入特征之间的关系模型：

l_AE＝l_AE(t_i)+l_AE(b_j)+l_AE(s_k)；

其中，t_i表示上衣；b_j表示下衣；s_k表示鞋子。

2.如权利要求1所述的基于神经网络的多模态互补服装搭配方法，其特征是，步骤(1)中：

所述从服装的图片中获取视觉特征，是通过深度卷积神经网络从服装的图片中获取视觉特征；

所述从服装的文字描述中获取文本特征，是通过词袋模型从服装的文字描述中获取文本特征。

3.如权利要求1所述的基于神经网络的多模态互补服装搭配方法，其特征是，步骤(2)中：

将上衣t_i的视觉特征上衣t_i的文本特征下衣b_j的视觉特征下衣b_j的文本特征鞋子s_k的视觉特征和鞋子s_k的文本特征输入到自编码器的编码器中；输出上衣t_i的视觉隐含表示上衣t_i的文本隐含表示下衣b_j的视觉隐含表示下衣的文本隐含表示鞋子s_k的视觉隐含表示和鞋子s_k的文本隐含表示

4.如权利要求3所述的基于神经网络的多模态互补服装搭配方法，其特征是，步骤(3)中：

通过自编码器的解码器，将上衣t_i的视觉隐含表示上衣t_i的文本隐含表示下衣b_j的视觉隐含表示下衣的文本隐含表示鞋子s_k的视觉隐含表示鞋子s_k的文本隐含表示解码为上衣t_i的视觉重建向量上衣t_i的文本重建向量下衣b_j的重建向量下衣的重建向量鞋子s_k的视觉重建向量鞋子s_k的文本重建向量