[发明专利]视频内容检索方法、视频内容检索装置及存储介质

权利要求书

1.一种视频内容检索方法，其特征在于，包括：

获取视频内容对应的人脸检索信息、图案检索信息、声音检索信息以及文字检索信息；

提取所述视频内容的音频帧，并按设定时间间隔提取所述视频内容的视频图像；

使用预设检测算法检测所述视频图像以及所述音频帧，以获取所述视频内容的人脸信息、文字信息、图案信息以及声音信息；

获取所述视频内容的人脸信息与所述人脸检索信息的人脸相似信息、所述视频内容的文字信息与所述文字检索信息的文字相似信息、所述视频内容的图案信息与所述图案检索信息的图案相似信息、所述视频内容的声音信息与所述声音检索信息的声音相似信息；以及

根据所述人脸相似信息、所述文字相似信息、所述图案相似信息以及所述声音相似信息，生成内容检索报告。

2.根据权利要求1所述的视频内容检索方法，其特征在于，所述使用预设检测算法检测所述视频图像以及所述视频帧，以获取所述视频内容的人脸信息、文字信息、图案信息以及声音信息的步骤包括：

使用预设人脸神经网络检测所述视频图像中的人脸区域，以获取所述视频内容的人脸信息；使用文字识别算法检测所述视频图像中的文字区域，以获取所述视频内容的文字信息；使用预设图案神经网络检测所述视频图像中的图案区域，以获取所述视频内容的图案信息；对所述音频帧进行语音识别操作，以获取所述视频内容的声音信息。

3.根据权利要求2所述的视频内容检索方法，其特征在于，所述视频内容检索方法还包括：

获取多个人脸样本图像，并使用多个所述人脸样本图像训练所述预设人脸神经网络；

获取多个图案样本图像，并使用多个所述图案样本图像训练所述预设图案神经网络。

4.根据权利要求2所述的视频内容检索方法，其特征在于，所述获取所述视频内容的人脸信息与所述人脸检索信息的人脸相似信息的步骤包括：

获取所述视频内容的人脸信息的人脸信息特征向量、以及所述人脸检索信息的人脸检索信息特征向量；

计算所述人脸信息的人脸信息特征向量与所有人脸检索信息的人脸检索信息特征向量的向量距离；

根据最小的向量距离，确定与所述人脸信息对应的人脸检索信息以及对应的人脸相似度。

5.根据权利要求2所述的视频内容检索方法，其特征在于，

所述获取所述视频内容的文字信息与所述文字检索信息的文字相似信息的步骤包括：

判断所述文字信息是否与任一文字检索信息相同；

如是，则将相同的文字检索信息确定为与所述文字信息对应的文字检索信息；如否，所述文字信息未对应任一文字检索信息；

所述获取所述视频内容的图案信息与所述图案检索信息的图案相似信息的步骤包括：

将相同的图案检索信息确定为与所述图案信息对应的图案检索信息；

所述获取所述视频内容的声音信息与所述声音检索信息的声音相似信息的步骤包括：

将相同的声音检索信息确定为与所述声音信息对应的声音检索信息。

6.根据权利要求1所述的视频内容检索方法，其特征在于，所述根据所述人脸相似信息、所述文字相似信息、所述图案相似信息以及所述声音相似信息，生成内容检索报告的步骤包括：

根据所述人脸信息的展示时间段、对应的人脸检索信息以及人脸相似度确定人脸信息检索报告；根据所述文字信息的展示时间段以及对应的文字检索信息确定文字信息检索报告；根据所述图案信息的展示时间段以及对应的图案检索信息确定图案信息检索报告；根据所述声音信息的展示时间段以及对应的声音检索信息确定声音信息检索报告。

7.根据权利要求6所述的视频内容检索方法，其特征在于，所述根据所述人脸相似信息、所述文字相似信息、所述图案相似信息以及所述声音相似信息，生成内容检索报告的步骤还包括：

将展示时间段的时间差小于第一设定值的人脸信息检索报告进行合并操作；将展示时间段的时间差小于第二设定值的文字信息检索报告进行合并操作；将展示时间段的时间差小于第三设定值的图案信息检索报告进行合并操作；将展示时间段的时间差小于第四设定值的声音信息检索报告进行合并操作。