[发明专利]数据处理方法、装置、存储介质及设备在审
申请号: | 202111480074.6 | 申请日: | 2021-12-06 |
公开(公告)号: | CN114332678A | 公开(公告)日: | 2022-04-12 |
发明(设计)人: | 陈思宏;李宇聪;鞠奇 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06V20/40 | 分类号: | G06V20/40;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 杜维 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 存储 介质 设备 | ||
1.一种数据处理方法,其特征在于,包括:
获取目标视频数据中的M个视频帧,对所述M个视频帧进行第一特征提取处理,得到第一特征图序列,对所述M个视频帧进行第二特征提取处理,得到第二特征图序列;
根据第一时间采样参数对所述第一特征图序列进行采样,得到目标第一特征图,根据第二时间采样参数对所述第二特征图序列进行采样,得到目标第二特征图;所述目标第一特征图和所述目标第二特征图分别对应的视频帧的数量之和等于M,所述目标第一特征图和所述目标第二特征图分别对应的视频帧互不相同;
根据所述目标第一特征图和所述目标第二特征图,生成时间融合特征图;
根据所述时间融合特征图、所述第一特征图序列以及所述第二特征图序列,生成目标融合特征图,对所述目标融合特征图进行分类,得到所述目标视频数据的视频内容类别。
2.根据权利要求1所述的方法,其特征在于,所述第一特征图序列包括所述M个视频帧分别对应的第一特征图,所述第二特征图序列包括所述M个视频帧分别对应的第二特征图;
所述根据所述时间融合特征图、所述第一特征图序列以及所述第二特征图序列,生成目标融合特征图,对所述目标融合特征图进行分类,得到所述目标视频数据的视频内容类别,包括:
在所述第一特征图序列和所述第二特征图序列中,将关联相同视频帧的第一特征图和第二特征图进行像素混合拼接,得到所述M个视频帧分别对应的像素混合特征图;
根据所述M个视频帧分别对应的像素混合特征图生成像素融合特征图;
根据所述时间融合特征图和所述像素融合特征图生成目标融合特征图,对所述目标融合特征图进行分类,得到所述目标视频数据的视频内容类别。
3.根据权利要求1所述的方法,其特征在于,所述获取目标视频数据中的M个视频帧,包括:
获取原始视频数据,获取所述原始视频数据中每个原始视频帧的内容属性;
根据所述每个原始视频帧的内容属性,对所述原始视频数据进行划分,得到N个视频片段;N为正整数;
从所述N个视频片段中选择目标视频片段,作为目标视频数据;
根据视频采样规则所指示的采样视频帧数量M,对所述目标视频数据所包括的原始视频帧进行视频帧采样,得到所述目标视频数据中的M个视频帧。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取初始时间采样参数;所述初始时间采样参数中的采样元素的数量为M;
随机确定所述初始时间采样参数中具有位置顺序的M个采样元素的元素值,得到第一时间采样参数;所述元素值包括第一元素阈值和第二元素阈值,所述第一元素阈值用于指示对特征图进行采样,所述第二元素阈值用于指示对特征图进行屏蔽;
根据所述第一时间采样参数中M个采样元素的元素值确定第二时间采样参数;所述第一时间采样参数与所述第二时间采样参数中处于相同位置上的采样元素的元素值互不相同。
5.根据权利要求4所述的方法,其特征在于,所述根据第一时间采样参数对所述第一特征图序列进行采样,得到目标第一特征图,根据第二时间采样参数对所述第二特征图序列进行采样,得到目标第二特征图,包括:
调用目标分类模型,在所述目标分类模型的特征融合层中,基于所述第一时间采样参数中的第一元素阈值,对所述第一特征图序列中关联特征图进行采样,基于所述第一时间采样参数中的第二元素阈值,对所述第一特征图序列中关联特征图进行屏蔽,得到目标第一特征图;
根据所述第二时间采样参数中的第一元素阈值,对所述第二特征图序列中关联特征图进行采样,根据所述第二时间采样参数中的第二元素阈值,对所述第二特征图序列中关联特征图进行屏蔽,得到目标第二特征图。
6.根据权利要求1所述的方法,其特征在于,所述根据所述目标第一特征图和所述目标第二特征图生成时间融合特征图,包括:
获取所述目标第一特征图所对应的视频帧的第一时间戳,获取所述目标第二特征图所对应的视频帧的第二时间戳;
根据所述第一时间戳和所述第二时间戳之间的时间顺序,对所述目标第一特征图和所述目标第二特征图进行组合,得到时间融合特征图。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111480074.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种改造的人工核酸酶系统及其应用
- 下一篇:一种智能门禁安防系统