[发明专利]标签嵌入在线哈希的跨模态多媒体数据检索方法及系统

权利要求书

1.标签嵌入在线哈希的跨模态多媒体数据检索方法，其特征是，包括：

获取多媒体训练数据；根据多媒体训练数据，获取多媒体训练标签矩阵、多媒体训练数据不同模态的特征矩阵和待检索样本不同模态的特征矩阵；

基于多媒体训练标签矩阵，构建标签语义相似块矩阵；将标签语义相似块矩阵，嵌入到海明空间中，求取多媒体训练数据的哈希编码；

根据多媒体训练数据的哈希编码和多媒体训练数据不同模态的特征矩阵，求取多媒体训练数据每个模态特征映射到多媒体训练数据哈希编码的投影矩阵；

根据多媒体训练数据每个模态特征映射到多媒体训练数据哈希编码的投影矩阵，和待检索样本不同模态的特征矩阵，得到待检索样本的哈希编码；

计算待检索样本的哈希编码与多媒体训练数据的哈希编码之间的距离，根据计算出的距离，从多媒体训练数据中获取与待检索样本相似的样本。

2.如权利要求1所述的方法，其特征是，根据多媒体训练数据，获取多媒体训练标签矩阵、多媒体训练数据不同模态的特征矩阵和待检索样本不同模态的特征矩阵；具体步骤包括：

对多媒体训练数据进行语义标注，得到多媒体训练标签矩阵；

对多媒体训练数据进行不同模态的特征提取，得到多媒体训练数据不同模态的特征矩阵；对待检索样本进行不同模态的特征提取，得到待检索样本不同模态的特征矩阵。

3.如权利要求2所述的方法，其特征是，所述对多媒体训练数据进行语义标注，得到多媒体训练标签矩阵；具体步骤包括：

在第t轮，一个新的多媒体训练数据块到达，该数据块包含n_t个样本；

数据库中已有多媒体训练数据样本N_t-1个，其中，是前t-1轮到达样本的总个数；

假设已有的多媒体训练数据的标签矩阵是每个样本的标签信息表示为c×1的向量，如果样本包含某个标签，标签向量中对应位置为1，否则为0；

对新来的多媒体训练数据进行语义标注，得到一个标签矩阵：

将新来的多媒体训练数据入库，现在完整数据库的标签矩阵是：

其中，N_t＝N_t-1+n_t。

4.如权利要求2所述的方法，其特征是，所述对多媒体训练数据进行不同模态的特征提取，得到多媒体训练数据不同模态的特征矩阵；对待检索样本进行不同模态的特征提取，得到待检索样本不同模态的特征矩阵；具体步骤包括：

假设已有的多媒体训练数据包含l个模态，第m模态对应一个特征矩阵其中，d_m表示提取特征的维数；

对新来的多媒体训练数据提取特征，得到新来的多媒体训练数据的特征矩阵

将新来的多媒体训练数据入库，现在完整数据库的特征矩阵是其中，m∈{1，…，l}；

对第m模态的待检索样本也提取特征，得到尺寸为d_m×1的特征向量x_m。

5.如权利要求1所述的方法，其特征是，基于多媒体训练标签矩阵，构建标签语义相似块矩阵；将标签语义相似块矩阵，嵌入到海明空间中，求取多媒体训练数据的哈希编码；具体步骤包括：

通过一个标签嵌入模型将监督信息嵌入到哈希编码中，保持已有数据的哈希编码不变，只更新新来数据的哈希编码；

通过离散优化算法，求得多媒体训练样本的哈希编码。

6.如权利要求5所述的方法，其特征是，根据多媒体训练数据的哈希编码和多媒体训练数据不同模态的特征矩阵，求取多媒体训练数据每个模态特征映射到多媒体训练数据哈希编码的投影矩阵；具体步骤包括：

用线性回归模型将多媒体训练数据的特征投影到哈希编码，模型可以表达为：

其中，为要学习的哈希函数的投影矩阵，它的解为：

其中，

上述所有的变量和都是在第t-1轮得到的；

在第t轮，第m模态多媒体数据的哈希函数为：