[发明专利]一种视频检测方法、装置、电子设备和存储介质在审
| 申请号: | 202210753941.7 | 申请日: | 2022-06-29 |
| 公开(公告)号: | CN115035509A | 公开(公告)日: | 2022-09-09 |
| 发明(设计)人: | 毕泊 | 申请(专利权)人: | 北京爱奇艺科技有限公司 |
| 主分类号: | G06V20/62 | 分类号: | G06V20/62;G06V30/18;G06V30/19;G06V10/44;G06V10/82;G06N3/04;G06N3/08 |
| 代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 吕俊秀 |
| 地址: | 100080 北京市海淀区*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 视频 检测 方法 装置 电子设备 存储 介质 | ||
1.一种视频检测方法,其特征在于,所述方法包括:
获取视频文件,并确定针对所述视频文件的检测目标;所述检测目标包括片头结束标志信息、片尾开始标志信息和片尾结束标志信息中的至少一种;
从所述视频文件中获取连续的多个视频片段,并分别确定所述多个视频片段的多个音视频特征信息;
将所述多个音视频特征信息分别输入预先训练的分类模型中,获得对应的多个输出结果;
根据所述多个输出结果,从所述多个视频片段中确定候选视频片段;
对所述候选视频片段的图像帧进行文字识别,获得文字识别结果;
根据所述文字识别结果确定所述检测目标所在的目标图像帧。
2.根据权利要求1所述的方法,其特征在于,所述将所述多个音视频特征信息分别输入预先训练的分类模型中,获得对应的多个输出结果,包括:
将所述多个音视频特征信息分别输入所述分类模型中,获得对应的多个置信度结果;所述置信度结果用于表示对应的视频片段属于片头片段/正片片段/片尾片段的置信度。
3.根据权利要求1所述的方法,其特征在于,所述分类模型通过以下方式训练:
获取用于训练的样本视频片段集;所述样本视频片段集包括连续的多个样本视频片段;所述多个样本视频片段分别标注的片段类型为片头片段或正片片段或片尾片段;
分别确定所述多个样本视频片段的多个样本音视频特征信息;
使用所述多个样本音视频特征信息进行模型训练,得到用于识别片头片段/正片片段/片尾片段的所述分类模型。
4.根据权利要求1所述的方法,其特征在于,所述分别确定所述多个视频片段的多个音视频特征信息,包括:
针对各个视频片段,采用预先训练的超分辨率测试序列VGG模型提取对应的音频特征信息,以及,采用预先训练的双流膨胀三维卷积网络I3D模型提取对应的视频特征信息,将所述音频特征信息和所述视频特征信息进行合并,得到该视频片段对应的所述音视频特征信息。
5.根据权利要求4所述的方法,其特征在于,所述将所述音频特征信息和所述视频特征信息进行合并,得到该视频片段对应的所述音视频特征信息,包括:
基于移位注意力机制分别对所述音频特征信息和所述视频特征信息进行注意力计算,得到对应的注意力音频特征信息和注意力视频特征信息;
将所述注意力音频特征信息和所述注意力视频特征信息进行拼接,得到对应的所述音视频特征信息。
6.根据权利要求2所述的方法,其特征在于,所述根据所述多个输出结果,从所述多个视频片段中确定候选视频片段,包括:
将所述多个置信度结果分别与预设置信度阈值比较,获得对应的多个比较结果;
根据所述多个比较结果,从所述多个视频片段中确定所述候选视频片段。
7.根据权利要求6所述的方法,其特征在于,所述候选视频片段包括用于查找所述检测目标为所述片头结束标志信息的第一候选视频片段,所述根据所述多个比较结果,从所述多个视频片段中确定所述候选视频片段,包括:
若所述检测目标为所述片头结束标志信息,则根据所述多个比较结果,分别将所述多个视频片段分类为片头片段和正片片段;
若所述多个视频片段中存在播放次序相邻的一个片头片段和一个正片片段,且所述一个正片片段在所述一个片头片段播放完之后播放,则将所述一个片头片段和所述一个正片片段确定为所述第一候选视频片段。
8.根据权利要求6所述的方法,其特征在于,所述候选视频片段包括用于查找所述检测目标为所述片尾开始标志信息的第二候选视频片段,所述根据所述多个比较结果,从所述多个视频片段中确定所述候选视频片段,包括:
若所述检测目标为所述片尾开始标志信息,则根据所述多个比较结果,分别将所述多个视频片段分类为正片片段和片尾片段;
若所述多个视频片段中存在播放次序相邻的一个正片片段和一个片尾片段,且所述一个片尾片段在所述一个正片片段播放完之后播放,则将所述一个正片片段和所述一个片尾片段确定为所述第二候选视频片段。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京爱奇艺科技有限公司,未经北京爱奇艺科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210753941.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种光学色谱仪
- 下一篇:连接权限控制方法、装置、电子设备及存储介质





