[发明专利]一种自动视频剪辑方法、系统、终端及存储介质

说明书

本发明公开了一种自动视频剪辑方法、系统、终端及存储介质。所述方法包括：获取待剪辑视频的关键帧，并采用图像对比算法对所述关键帧进行自我标记，生成所述关键帧的无监督向量表示；获取待剪辑视频的语料信息，并采用文本对比算法获取所述语料信息的无监督向量表示；根据所述关键帧对所述待剪辑视频进行分割，生成与所述关键帧数量相对应的视频片段；根据所述关键帧的无监督向量表示以及语料信息的无监督向量表示计算相邻视频片段的相似度，将所述相似度大于设定相似度阈值的相邻视频片段进行合并，生成所述待剪辑视频的视频剪辑结果。本发明实施例利用了图像和文本信息，避免人工数据标注，实现了视频的自动剪辑，大大提高了视频剪辑效率。

技术领域

本发明涉及多媒体技术领域，特别是涉及一种自动视频剪辑方法、系统、终端及存储介质。

背景技术

借助4G网络的发展，短视频技术得到了蓬勃发展，随着抖音、快手、B站等大量视频APP的涌现，视频数量呈现指数级增长。虽然视频比文字、图片更加直观，但观看视频需要耗费大量时间。对于一段很长的视频，有价值或用户感兴趣的片段往往只占视频总长的一部分，因此视频剪辑的需求也在与日俱增。

现有技术中的视频剪辑通常需要依赖人力资源，既费财力，且视频剪辑效率低下，在一定程度上阻碍了短视频技术的发展。

发明内容

本发明提供了一种自动视频剪辑方法、系统、终端及存储介质，旨在解决现有的视频剪辑需要依赖人力资源存在的费财力、视频剪辑效率低下等技术问题。

为解决上述技术问题，本发明采用的技术方案为：

一种自动视频剪辑方法，所述方法包括：

获取待剪辑视频的关键帧，并采用图像对比算法对所述关键帧进行自我标记，生成所述关键帧的无监督向量表示；

获取待剪辑视频的语料信息，并采用文本对比算法获取所述语料信息的无监督向量表示；

根据所述关键帧对所述待剪辑视频进行分割，生成与所述关键帧数量相对应的视频片段；

根据所述关键帧的无监督向量表示以及语料信息的无监督向量表示计算相邻视频片段之间的相似度，将所述相似度大于预设相似度阈值的相邻视频片段进行合并，生成所述待剪辑视频的视频剪辑结果。

本发明实施例采取的技术方案还包括：所述关键帧为待剪辑视频中角色或者物体运动变化中关键动作所处的帧，所述获取待剪辑视频的关键帧包括：

采用ffmpeg对所述待剪辑视频进行抽帧处理；

对于所有抽帧后的图像，计算相邻图像之间的相似度，将相似度低于设定阈值的图像作为关键帧。

本发明实施例采取的技术方案还包括：所述采用图像对比算法对所述关键帧进行自我标记,包括：

基于获取的关键帧，采用无监督算法训练Selflabel模型，所述Selflabel模型采用图像对比算法学习关键帧图像的无监督向量表示，通过聚类和表示学习对关键帧进行自我标记，输出所述关键帧的self_label(frame_k)，其中，frame_k表示第k幅关键帧图像。

本发明实施例采取的技术方案还包括：所述获取待剪辑视频的语料信息包括：

采用ASR技术收集待剪辑视频的ASR语音信息，并将收集到的ASR语音信息切割为设定长度的ASR文本信息；

采用OCR技术从抽帧后的图像中获取OCR文本信息；

将切割后的ASR文本信息和OCR文本信息作为待剪辑视频的语料信息。

本发明实施例采取的技术方案还包括：所述采用文本对比算法获取所述语料信息的无监督向量表示包括：