[发明专利]视频检测方法、装置、终端设备及存储介质在审
申请号: | 201911302567.3 | 申请日: | 2019-12-17 |
公开(公告)号: | CN111050023A | 公开(公告)日: | 2020-04-21 |
发明(设计)人: | 徐易楠;陈泷翔 | 申请(专利权)人: | 深圳追一科技有限公司 |
主分类号: | H04N5/04 | 分类号: | H04N5/04;H04N5/06;G06K9/62 |
代理公司: | 深圳市智圈知识产权代理事务所(普通合伙) 44351 | 代理人: | 吕静 |
地址: | 518057 广东省深圳市南山区粤海街道*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 检测 方法 装置 终端设备 存储 介质 | ||
1.一种视频检测方法,其特征在于,应用于终端设备,所述方法包括:
获取待检测视频中的音频数据以及视频图像数据;
提取所述音频数据对应的音频特征,并提取所述视频图像数据对应的图像特征;
获取所述音频数据对应的原始音频特征以及所述视频图像数据对应的原始图像特征,所述原始音频特征为所述待检测视频在发送至所述终端设备之前被预先提取的音频特征,所述原始图像特征为所述待检测视频在发送至所述终端设备之前被预先提取的图像特征;
分别将所述音频特征与所述原始音频特征进行比对,将所述图像特征与所述原始图像特征进行比对,得到所述音频特征对应的第一比对结果,以及所述图像特征对应的第二比对结果;
根据所述第一比对结果与所述第二比对结果,确定所述待检测视频中所述音频数据与所述视频图像数据的同步结果,所述同步结果包括所述音频数据与所述视频图像数据同步或不同步。
2.根据权利要求1所述的方法,其特征在于,所述原始音频特征以及所述原始图像特征为指定时间段对应的音频特征和图像特征,所述获取所述待检测视频中的音频数据以及视频图像数据,包括:
对所述待检测视频进行分解,得到音频帧序列和视频图像帧序列;
从所述音频帧序列中选取所述指定时间段对应的音频帧集合,作为所述待检测视频中的音频数据,并从所述视频图像帧序列中选取所述指定时间段对应的视频图像帧集合,作为所述待检测视频中的视频图像数据。
3.根据权利要求2所述的方法,其特征在于,在所述确定所述待检测视频中所述音频数据与所述视频图像数据的同步结果之后,所述方法还包括:
当检测到所述同步结果为不同步时,获取所述待检测视频对应的丢失时长,其中,所述丢失时长包括所述音频帧集合中与所述原始音频特征不匹配的音频帧所对应的时长、以及所述视频图像帧集合中与所述原始图像特征不匹配的图像帧所对应的时长;
基于所述丢失时长,将所述待检测视频中的所述音频数据与所述视频图像数据进行同步。
4.根据权利要求3所述的方法,其特征在于,所述基于所述丢失时长,将所述待检测视频中的所述音频数据与所述视频图像数据进行同步,包括:
当所述丢失时长满足误差允许条件时,确定所述丢失时长对应的丢失帧,所述丢失帧包括音频帧以及视频图像帧中的至少一种;
确定所述待检测视频中与所述丢失帧的时间节点对应的未丢失帧,其中,所述丢失帧为音频帧时,未丢失帧为视频图像帧,所述丢失帧为视频图像帧时,未丢失帧为音频帧;
从所述待检测视频中删除所述未丢失帧,其中,删除后的待检测视频中所述音频数据与所述视频图像数据同步。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
当所述丢失时长不满足误差允许条件时,通过机器学习模型将所述丢失帧补充至所述待检测视频中。
6.根据权利要求5所述的方法,其特征在于,所述丢失帧为音频帧时,所述通过机器学习模型将所述丢失帧补充至所述待检测视频中,包括:
根据所述音频数据对应的文本内容,获取第一机器学习模型输出的修正帧,所述修正帧为新获取的所述音频帧,所述第一机器学习模型被预先训练,以根据文本内容而输出所述文本内容对应的音频帧;
基于所述修正帧以及所述待检测视频,生成修正视频,所述修正视频为补充所述修正帧后的所述待检测视频。
7.根据权利要求5所述的方法,其特征在于,所述通过机器学习模型将所述丢失帧补充至所述待检测视频中,包括:
获取与所述待检测视频的相邻且处于所述待检测视频之前的前段视频,以及与所述待检测视频的相邻且处于所述待检测视频之后的后段视频,所述前段视频、所述后段视频以及所述待检测视频为同一完整视频以预设时长分段后的不同分段视频;
根据所述前后分段视频以及所述待检测视频,获取第二机器学习模型输出的修正视频,所述修正视频为补充所述丢失帧后的所述待检测视频,所述第二机器学习模型被预先训练,以根据待检测视频以及待检测视频的相邻前后分段视频而输出补充所述丢失帧后的修正视频。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳追一科技有限公司,未经深圳追一科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911302567.3/1.html,转载请声明来源钻瓜专利网。