[发明专利]一种视频语音检索方法

权利要求书

1.一种视频语音检索方法，其特征在于，包括：

提取训练样本中的第一视频特征和第一语音特征；

将所述第一视频特征和所述第一语音特征进行特征对齐；

计算所述第一视频特征与视频特征记忆库中第二视频特征的视频特征相似度，以及计算所述第一语音特征与语音特征记忆库中第二语音特征的语音特征相似度；

若所述视频特征相似度和/或者所述语音特征相似度小于预设的阈值，则更新对应的所述视频特征记忆库和/或者所述语音特征记忆库；

计算所述第一视频特征与所述第二视频特征的视频特征距离关系向量，以及计算所述第一语音特征与所述第二语音特征的语音特征距离关系向量；

将对齐后的所述第一视频特征和所述第一语音特征进行特征融合，得到融合特征向量；

将所述视频特征距离关系向量、所述语音特征距离关系向量以及所述融合特征向量进行加权计算，得到训练样本的特征与特征记忆库中特征的匹配度；

根据所述匹配度调整视频语音检索模型的参数。

2.根据权利要求1所述的视频语音检索方法，其特征在于，在所述计算所述第一视频特征与视频特征记忆库中第二视频特征的视频特征相似度，以及计算所述第一语音特征与语音特征记忆库中第二语音特征的语音特征相似度，之前还包括：

分别建立原始视频特征的视频特征记忆库和原始语音特征的语音特征记忆库。

3.根据权利要求1所述的视频语音检索方法，其特征在于，所述提取训练样本中的第一视频特征和第一语音特征，包括：

采用动作识别模型双流I3D提取所述训练样本的所述第一视频特征；

采用长短期记忆网络提取所述训练样本的所述第二语音特征。

4.根据权利要求1所述的视频语音检索方法，其特征在于，所述将所述第一视频特征和所述第一语音特征进行特征对齐，包括：

将所述训练样本的所述第一视频特征和所述第一语音特征分别输入到两个全连接层，使得所述第一视频特征和所述第一语音特征投射到同一个空间，当描述同一件事物的特征时，所述第一视频特征和所述第一语音特征的距离小于预设距离，当描述不同一件事物的特征时，所述第一视频特征和所述第一语音特征的距离大于预设距离。

5.根据权利要求1所述的视频语音检索方法，其特征在于，所述计算所述第一视频特征与视频特征记忆库中第二视频特征的视频特征相似度，以及计算所述第一语音特征与语音特征记忆库中第二语音特征的语音特征相似度，包括：

将所述第一视频特征与所述第二视频特征进行对齐，将所述第一视频特征中未与所述第二视频特征对齐的第三视频特征，分别与所述第二视频特征中的每个特征进行逐个比对，得到所述第三视频特征对应的多个视频特征相似度；

将所述第一语音特征与所述第二语音特征进行对齐，将所述第一语音特征中未与所述第二语音特征对齐的第三语音特征，分别与所述第二语音特征中的每个特征进行逐个比对，得到所述第三语音特征对应的多个语音特征相似度。

6.根据权利要求5所述的视频语音检索方法，其特征在于，所述若所述视频特征相似度和/或者所述语音特征相似度小于预设的阈值，则更新对应的所述视频特征记忆库和/或者所述语音特征记忆库，包括：

若多个视频特征相似度和/或者所述语音特征相似度中的最大值小于预设的阈值，则将所述第三视频特征和/或者所述第三语音特征作为一个新的特征类别更新到对应的所述视频特征记忆库和/或者所述语音特征记忆库。

7.根据权利要求1所述的视频语音检索方法，其特征在于，所述根据所述匹配度调整视频语音检索模型的参数，包括：

获取所述匹配度最高的多个训练样本与所述训练样本对应的真值进行对比，得到所述视频语音检索模型的准确率，所述真值为所述训练样本中的视频和音频描述的是同一件事，否则为假；

根据所述准确率调整所述视频语音检索模型的参数，再次训练所述视频语音检索模型，直到所述准确率大于预设准确率阈值。