[发明专利]基于关键帧识别和音频文本化的短视频推荐方法及系统

说明书

本公开公开了基于关键帧识别和音频文本化的短视频推荐方法及系统，包括：获取待推荐的短视频；将短视频按照时间顺序均匀分割为若干个视频片段；对每个视频片段进行关键帧提取，对每个关键帧进行图像识别，提取出图像分类标签和字幕文本信息；对每个视频片段提取出对应的音频信息，从音频信息中提取对应的音频文本信息；将得到的图像分类标签、字幕文本信息和音频文本信息进行整合，得到待推荐短视频的文本信息；从待推荐短视频文本信息中分析每个词的词频，按照词频从大到小对每个词进行排序，将排序靠前的M个词作为待推荐短视频的关键词输出；根据待推荐短视频的关键词与用户预存储的关键词，利用协同过滤算法为用户提供推荐结果。

技术领域

本公开涉及短视频推荐技术领域，特别是涉及基于关键帧识别和音频文本化的短视频推荐方法及系统。

背景技术

本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。

短视频相对于传统的视频，存在视频时间短(多在15秒以内)，缺乏有价值的文本类描述，且由于短视频时长问题，在实现本公开的过程中，发明人发现现有技术中传统的视频分析方式，无法有效提取针对本视频的文本描述。因此对于短视频类新闻内容的智能推荐，无法根据短视频本身提供的信息，进行算法计算，生成推荐内容。

发明内容

为了解决现有技术的不足，本公开提供了基于关键帧识别和音频文本化的短视频推荐方法及系统；

第一方面，本公开提供了基于关键帧识别和音频文本化的短视频推荐方法；

基于关键帧识别和音频文本化的短视频推荐方法，包括：

获取待推荐的短视频；将短视频按照时间顺序均匀分割为若干个视频片段；

对每个视频片段进行关键帧提取，对每个关键帧进行图像识别，提取出图像分类标签和字幕文本信息；

对每个视频片段提取出对应的音频信息，从音频信息中提取对应的音频文本信息；

将得到的图像分类标签、字幕文本信息和音频文本信息进行整合，得到待推荐短视频的文本信息；

从待推荐短视频文本信息中分析每个词的词频，按照词频从大到小对每个词进行排序，将排序靠前的M个词作为待推荐短视频的关键词输出；M为正整数；

根据待推荐短视频的关键词与用户预存储的关键词，利用协同过滤算法为用户提供推荐结果。

第二方面，本公开还提供了基于关键帧识别和音频文本化的短视频推荐系统；

基于关键帧识别和音频文本化的短视频推荐系统，包括：

分割模块，其被配置为：获取待推荐的短视频；将短视频按照时间顺序均匀分割为若干个视频片段；

关键帧提取模块，其被配置为：对每个视频片段进行关键帧提取，对每个关键帧进行图像识别，提取出图像分类标签和字幕文本信息；

音频提取模块，其被配置为：对每个视频片段提取出对应的音频信息，从音频信息中提取对应的音频文本信息；

文本整合模块，其被配置为：将得到的图像分类标签、字幕文本信息和音频文本信息进行整合，得到待推荐短视频的文本信息；

关键词输出模块，其被配置为：从待推荐短视频文本信息中分析每个词的词频，按照词频从大到小对每个词进行排序，将排序靠前的M个词作为待推荐短视频的关键词输出；M为正整数；

推荐结果输出模块，其被配置为：根据待推荐短视频的关键词与用户预存储的关键词，利用协同过滤算法为用户提供推荐结果。