[发明专利]多模态视频检索系统

说明书

本发明涉及一种多模态视频检索系统，包括信息交互界面、预先构建的RE I D行人识别模型、预先构建的多模态视频数据库，处理器和存储有计算机程序的存储器，所述视频数据库包括多条视频段数据记录，所述视频段数据记录包括视频段、时间信息、位置信息、RE I D特征向量、人脸特征向量和步态特征向量字段，所述RE I D特征向量基于所述RE I D行人识别模型得到。本发明提高了视频检索的效率和准确性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种多模态视频检索系统。

背景技术

随着多媒体技术和网络技术的发展，产生了大量多媒体信息，这些信息可能是图片、声音或者视频等。特别是视频数量增长尤其迅速，因为视频数据形象生动，能够携带大量信息，更易于被人感知，视频顺理成章得到广泛应用。现有很多地理区域均安装有摄像头，用于采集地理区域内的视频信息，一旦出现紧急事项时，需要对历史的摄像视频记录进行检索，对特定目标的活动轨迹进行查找和分析。

但是，在面对这些巨大的历史视频记录数据时，传统的通过人工筛选的检索方式耗费时间长，且占用巨大资源，检索效率低，且由于视频量巨大，无法保证检索结果的全面性和准确性。由此可知，如何提高视频检索的效率和准确性成为亟待解决的技术问题。

发明内容

本发明目的在于，提供一种多模态视频检索系统，提高了视频检索的效率和准确性。

根据本发明第一方面，提供了一种多模态视频检索系统，包括信息交互界面、预先构建的REID行人识别模型、预先构建的多模态视频数据库，处理器和存储有计算机程序的存储器，所述视频数据库包括多条视频段数据记录，所述视频段数据记录包括视频段、时间信息、位置信息、REID特征向量、人脸特征向量和步态特征向量字段，所述REID特征向量基于所述REID行人识别模型得到，其中，每一视频段中包括同一摄像头所连续采集的同一人物信息，所述连续采集为采集时间间隔小于预设的时间间隔阈值，当所述计算机程序被处理器执行时，实现以下步骤：

步骤S1、获取待检索对象的图像，并将所述待检索对象的图像输入所述REID行人识别模型中获取REID特征向量，作为待检测REID特征向量；

步骤S2、根据所述待检测REID特征向量遍历所述视频数据库中的所有REID特征向量，获取与所述待检测REID特征向量相似度大于预设REID特征相似度阈值的所有REID特征向量对应的视频段，组成第一视频段集合；

步骤S3、获取当前第一视频段集合中每一视频段对应的人脸特征向量，作为目标人脸特征向量；

步骤S4、根据每一目标人脸特征向量遍历所述视频数据库中的所有人脸特征向量，获取与每一目标人脸特征向量相似度大于预设人脸特征相似度阈值的所有人脸特征向量对应的视频段，得到每一目标人脸特征向量对应的第二视频段集合，将所有的第二视频段集合与所述第一视频段集合求并集，得到第三视频段集合；

步骤S5、获取当前第三视频段集合中每一视频段对应的步态特征向量，作为目标步态特征向量；

步骤S6、根据每一目标步态特征向量遍历所述视频数据库中的所有步态特征向量，获取与每一目标步态特征向量相似度大于预设步态特征向量相似度阈值的所有步态特征向量对应的视频段，得到每一目标步态特征向量对应的第四视频段集合，将所有的第四视频段集合与第三视频段集合求并集，得到第五视频段集合；

步骤S7、获取当前第五视频段集合中每一视频段对应的待处理图像，并将每一待处理图像输入所述REID行人识别模型中得到对应的REID特征向量，作为目标REID特征向量；

步骤S8、根据每一目标REID特征向量遍历所述视频数据库中的所有REID特征向量，获取与每一目标REID特征向量相似度大于预设REID特征相似度阈值的所有REID特征向量对应的视频段，组成第六视频段集合，将所有的第六视频段集合与第五视频段集合求并集，得到第一视频段集合；