[发明专利]一种视频文本生成方法、装置、设备及存储介质

说明书

本申请提供了一种视频文本生成方法、装置、设备及存储介质，其中方法包括：获取待处理的视频数据，并提取视频数据中的关键帧图像数据和音频数据；根据关键帧图像数据和音频数据，通过预设的光学字符识别模型和语音识别模型，得到视频数据的文字信息；根据关键帧图像数据和音频数据，通过预设的生物特征识别模型，得到视频数据的人物信息；根据文字信息和人物信息，生成视频数据对应的视频文本。本申请通过融合生物特征识别、光学字符识别、语音识别技术使得生成的视频文本包含更全面的图像和语音、文字等内容信息，可极大提高用户对视频内容的搜索、阅读的效率，解决了现有的视频数据搜索存在效率低的技术问题。

技术领域

本申请涉及视频处理技术领域，尤其涉及一种视频文本生成方法、装置、设备及存储介质。

背景技术

随着多媒体产业的兴起，视频数据已经融入到日常生活当中，大量的视频数据充斥在我们的日常生活中。为了能够准确搜索出想要的视频数据或快速了解视频主要内容，视频文本的生成质量至关重要。

传统的视频文本生成侧重光学字符识别或语音识别，难以获取更全面的视频信息用以生成视频文本，从而导致现有的视频数据搜索存在效率低的技术问题。

发明内容

本申请提供了一种视频文本生成方法、装置、设备及存储介质，用于解决现有的视频数据搜索存在效率低的技术问题。

本申请第一方面提供了一种视频文本生成方法，包括：

获取待处理的视频数据，并提取所述视频数据中的关键帧图像数据和音频数据；

根据所述关键帧图像数据和音频数据，通过预设的光学字符识别模型和语音识别模型，得到所述视频数据的文字信息；

根据所述关键帧图像数据和音频数据，通过预设的生物特征识别模型，得到所述视频数据的人物信息；

根据所述文字信息和所述人物信息，生成所述视频数据对应的视频文本。

优选地，根据所述关键帧图像数据和音频数据，通过预设的光学字符识别模型和语音识别模型，得到所述视频数据的文字信息具体包括：

根据所述关键帧图像数据，通过光学字符识别模型识别所述关键帧图像数据中的文字字符，得到所述视频数据的图像文字信息；

根据所述音频数据，通过语音识别模型，将所述音频数据转换为文本数据，得到所述视频数据的语音文字信息。

优选地，包括：所述生物特征识别模型包括：人脸识别模型和声纹识别模型。

优选地，根据所述关键帧图像数据和音频数据，通过预设的生物特征识别模型，得到所述视频数据的人物信息具体包括：

根据所述关键帧图像数据，通过人脸识别模型，识别所述关键帧图像数据中的人脸特征，以根据所述人脸特征进行特征比对得到所述视频数据的图像人物信息；

根据所述音频数据，通过声纹识别模型，识别所述音频数据中的声纹特征，以根据所述声纹特征进行特征比对得到所述视频数据的语音人物信息。

优选地，根据所述文字信息和所述人物信息，生成所述视频数据对应的视频文本具体包括：

根据所述图像文字信息的时间信息和所述语音文字信息的时间信息，确定第一对应关系，其中，所述第一对应关系为所述图像文字信息和所述语音文字信息的对应关系；

根据所述图像人物信息的时间信息和所述语音人物信息的时间信息，确定第二对应关系，其中，所述第二对应关系为所述图像人物信息和所述语音人物信息的对应关系；

基于所述第一对应关系和所述第二对应关系，对图像人物信息、图像文字信息和语音人物信息、语音文字信息进行汇总，得到视频文本。

优选地，所述关键帧图像数据的获取过程具体包括：