[发明专利]音视频摘要提取方法、装置、设备及存储介质

说明书

本申请涉及人工智能技术领域，公开了一种音视频摘要提取方法、装置、设备及存储介质，方法包括：获取待处理音视频，按照预设步长和预设切割长度将音频信息切割成若干个音频片段，利用预设的人声识别模型对各个音频片段进行分析，以从各个音频片段中筛选人声片段，从各个人声片段中提取第一用户音频以及第二用户音频，对第一用户音频进行关键词提取，得到第一关键词集，并对第二用户音频进行关键词提取，得到第二关键词集；根据第一关键词集以及第二关键词集从视频帧集中筛选关键视频帧，并根据各个关键视频帧生成视频摘要。

技术领域

本申请涉及人工智能的技术领域，尤其涉及一种音视频摘要提取方法、装置、设备及存储介质。

背景技术

当前，用户可以通过查看音视频对应的音视频摘要，来在短时间内获知音视频的核心内容。而现有技术中，通常通过人工的方式去进行音视频摘要提取，基于人工提取的方法提取内容虽然准确，但这种方式需要人工看完整段音视频后，才能基于音视频内容给出摘要结果。现急需一种方法来实现音视频摘要的智能提取。

发明内容

本申请的主要目的在于提供一种音视频摘要提取方法、装置、设备及存储介质，旨在实现对音视频摘要的智能提取。

第一方面，本申请提供一种音视频摘要提取方法，包括：

获取待处理音视频，所述待处理音视频包括视频帧集以及音频信息，且所述待处理音视频为第一用户拜访第二用户，以对所述第二用户讲解演示文稿的音视频；

按照预设步长和预设切割长度将所述音频信息切割成若干个音频片段，其中，所述预设步长小于所述预设切割长度；

利用预设的人声识别模型对各个所述音频片段进行分析，以从各个所述音频片段中筛选人声片段；

提取各个所述人声片段的语音特征，并根据所述语音特征对各个所述人声片段进行分组后按时间顺序进行存储，得到第一人声片段集以及第二人声片段集；

对所述第一人声片段集中的所述人声片段进行拼接，得到第一用户音频，并对所述第二人声片段集中的所述人声片段进行拼接，得到第二用户音频；

对所述第一用户音频进行关键词提取，得到第一关键词集，并对所述第二用户音频进行关键词提取，得到第二关键词集；

根据所述第一关键词集以及所述第二关键词集从所述视频帧集中筛选关键视频帧，并根据各个所述关键视频帧生成视频摘要。

第二方面，本申请还提供一种音视频摘要提取装置，所述音视频摘要提取装置包括：

处理对象获取模块，用于获取待处理音视频，所述待处理音视频包括视频帧集以及音频信息，且所述待处理音视频为第一用户拜访第二用户，以对所述第二用户讲解演示文稿的音视频；

音频信息切割模块，用于按照预设步长和预设切割长度将所述音频信息切割成若干个音频片段，其中，所述预设步长小于所述预设切割长度；

人声识别模块，用于利用预设的人声识别模型对各个所述音频片段进行分析，以从各个所述音频片段中筛选人声片段；

人声分类模块，用于提取各个所述人声片段的语音特征，并根据所述语音特征对各个所述人声片段进行分组后按时间顺序进行存储，得到第一人声片段集以及第二人声片段集；

人声拼接模块，用于对所述第一人声片段集中的所述人声片段进行拼接，得到第一用户音频，并对所述第二人声片段集中的所述人声片段进行拼接，得到第二用户音频；

关键词提取模块，用于对所述第一用户音频进行关键词提取，得到第一关键词集，并对所述第二用户音频进行关键词提取，得到第二关键词集；

视频摘要生成模块，用于根据所述第一关键词集以及所述第二关键词集从所述视频帧集中筛选关键视频帧，并根据各个所述关键视频帧生成视频摘要。