[发明专利]一种基于离散在线哈希学习的跨模态检索方法及系统

权利要求书

1.一种基于离散在线哈希学习的跨模态检索方法，其特征是，包括：

获取模拟流数据；

基于所述模拟流数据，针对到达的最新轮的第二数据块，从该轮之前的第一数据块中挑选锚点，通过保持第二数据块和第一数据块的锚点的相似性将语义相似性信息嵌入到哈希码中，并且通过标签函数将标签信息嵌入到哈希码中；

所述保持第二数据块和第一数据块的锚点的相似性，具体方式为：从第一数据块中随机选择数据作为锚点来计算相似性函数即似然函数，基于似然函数获得的相关性函数；

基于相关性函数及标签函数获得目标总体函数，通过优化总体的目标函数，得到最新轮的第二数据块的哈希码；

离散地更新最新轮的第二数据块的哈希编码，保持最新轮之前轮的第一数据块的哈希编码不变，实现从不同的模态中学习统一的哈希码；

根据最新轮的第二数据块的哈希码，分别求取每个模态将特征映射到哈希码的投影矩阵，即哈希函数，进行哈希函数学习，更新每个模态的哈希函数来处理学习后的哈希编码；

基于更新后的哈希函数计算模拟流数据中样本间的海明距离，根据海明距离来返回与待查询样本距离近的所需的另一个模态的检索样本；

其中，所述相关性函数如下：

其中，a_t是第t轮所选取的训练数据的数量，是新来数据的哈希码，n_t表示在第t轮到达的新的数据块的样本数量，Sij表示第i个新样本和第j个已有样本间的相似性，如果两个样本相似，则Sij＝1，否则Sij＝0，r为新到来的数据生成的哈希码的位数，是第i个新来数据的哈希码，是第j个已有数据的锚点的哈希码；

所述目标总体函数如下：

其中，θ是权值参数，a_t是第t轮所选取的训练数据的数量，是新来数据块的标签矩阵，是已有数据的标签矩阵，P^(t)是一个预测矩阵，‖·‖_F表示的是矩阵的Frobenius范数。

2.如权利要求1所述的一种基于离散在线哈希学习的跨模态检索方法，其特征是，从不同的模态中学习统一的哈希码时，根据第二数据块和第一数据块为第二数据块生成哈希码，通过跨模态对称相似性的对数似然函数捕获第一数据块和第二数据块之间的相关性。

3.如权利要求1所述的一种基于离散在线哈希学习的跨模态检索方法，其特征是，第一数据块和第二数据块的哈希码都将分别重建标签，将监督标签信息嵌入到待学习的哈希编码中。

4.如权利要求3所述的一种基于离散在线哈希学习的跨模态检索方法，其特征是，对目标总体函数，利用交替的优化策略来优化目标函数，具体为：在每一步中，固定其他变量来优化某一变量，通过每一步优化一个变量，得到目标函数的值，迭代更新规则将单调地减小目标函数值，经过多次迭代最终达到局部最小值。

5.如权利要求1所述的一种基于离散在线哈希学习的跨模态检索方法，其特征是，哈希函数学习中，对每个模态采用一个简单的线性回归模型作为哈希函数，将训练样本的特征投影到哈希编码，针对每个模态的函数求解。