[发明专利]利用标签层次信息的多媒体数据跨模态检索方法及系统

权利要求书

1.利用标签层次信息的多媒体数据跨模态检索方法，其特征是，包括：

获取待检索的第一模态多媒体数据；

对待检索的第一模态多媒体数据进行特征提取，得到第一哈希码；当待检索的第一模态多媒体数据为图像数据，则对待检索的第一模态多媒体数据，利用预先训练好的卷积神经网络CNN进行特征提取，得到第一哈希码；所述预先训练好的卷积神经网络CNN，具体训练步骤包括：

构建第一训练集，所述第一训练集为已知图像类别标签对应的哈希码的图像数据；将第一训练集输入到卷积神经网络CNN中，对卷积神经网络CNN进行训练，得到预先训练好的卷积神经网络CNN；

所述图像类别标签对应的哈希码的获取步骤包括：

将标签层次结构中每一层的实例和类别标签的相似性，嵌入到第一目标函数中；所述第一目标函数，用于保持每一层的语义相似性；

将标签层次结构中跨层的类别标签与类别标签的相似性，嵌入到第二目标函数中；所述第二目标函数，用于保持跨层的关联信息；

将第一目标函数与第二目标函数进行整合，得到最终的目标函数，最终的目标函数能够让从已知的类别标签中学习到的哈希码保持每一层的相似度和跨层的关联度；

对最终的目标函数进行优化求解，得到图像类别标签对应的哈希码；

将第一哈希码与预存储的第二模态的所有多媒体数据对应的已知哈希码进行距离计算；选择距离最近的若干个哈希码对应的第二模态的多媒体数据，作为检索结果输出。

2.如权利要求1所述的方法，其特征是，所述对待检索的第一模态多媒体数据进行特征提取，得到第一哈希码；具体步骤包括：

当待检索的第一模态多媒体数据为文本数据，则对待检索的第一模态多媒体数据，利用预先训练好的多层感知器MLP模型进行特征提取，得到第一哈希码。

3.如权利要求1所述的方法，其特征是，所述卷积神经网络CNN，包括：依次连接的第一输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层、第二全连接层和第三全连接层，所述第三全连接层的神经元数量等于第一哈希码的长度。

4.如权利要求2所述的方法，其特征是，所述多层感知器MLP模型，包括：依次连接的第二输入层、第四全连接层和第五全连接层，所述第五全连接层的节点的数目等于第一哈希码的长度。

5.如权利要求2所述的方法，其特征是，所述预先训练好的多层感知器MLP模型，具体训练步骤包括：

构建第二训练集，所述第二训练集为已知文本类别标签对应的哈希码的文本数据；将第二训练集输入到多层感知器MLP模型中，对多层感知器MLP模型进行训练，得到预先训练好的多层感知器MLP模型。

6.如权利要求5所述的方法，其特征是，所述文本类别标签对应的哈希码的获取步骤包括：

将标签层次结构中每一层的实例和类别标签的相似性，嵌入到第一目标函数中；所述第一目标函数，用于保持每一层的语义相似性；

将标签层次结构中跨层的类别标签与类别标签的相似性，嵌入到第二目标函数中；所述第二目标函数，用于保持跨层的关联信息；

将第一目标函数与第二目标函数进行整合，得到最终的目标函数，最终的目标函数能够让从已知的类别标签中学习到的哈希码保持每一层的相似度和跨层的关联度；

对最终的目标函数进行优化求解，得到文本类别标签对应的哈希码。