[发明专利]一种时序动作检测方法、装置、存储介质及终端在审
申请号: | 202111574171.1 | 申请日: | 2021-12-21 |
公开(公告)号: | CN114429641A | 公开(公告)日: | 2022-05-03 |
发明(设计)人: | 刘斌;张睿;张先福;蒙学文 | 申请(专利权)人: | 特斯联科技集团有限公司 |
主分类号: | G06V40/10 | 分类号: | G06V40/10;G06V40/20;G06V10/44;G06V10/766;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 北京辰权知识产权代理有限公司 11619 | 代理人: | 李小朋 |
地址: | 101100 北京市通*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 时序 动作 检测 方法 装置 存储 介质 终端 | ||
1.一种时序动作检测方法,其特征在于,所述方法包括:
获取动作视频;
将所述动作视频输入到预先训练的动作检测网络中;其中,所述预先训练的动作检测网络是基于多个局部-全局融合特征训练生成的,所述多个局部-全局融合特征是根据局部自注意力模块和全局自注意力模块构建的;
输出所述动作视频中的时序动作信息。
2.根据权利要求1所述的方法,其特征在于,按照以下步骤生成预先训练的动作检测网络,包括:
构建动作检测网络;其中,所述动作检测网络至少包括I3D网络、卷积模块、局部自注意力模块、全局自注意力模块、回归模型以及分类模型;
获取未剪辑的源视频,并根据所述I3D网络、卷积模块以及未剪辑的源视频生成降维的时序特征;
根据所述局部自注意力模块、全局自注意力模块分别与降维的时序特征构建出多个局部融合特征和全局融合特征;
将每个局部融合特征与所述全局融合特征分别进行融合,生成多个局部-全局融合特征;
根据所述多个局部-全局融合特征、回归模型以及分类模型生成多个偏移量参数和动作参数;
根据所述多个偏移量参数和动作参数计算所述动作检测网络的目标损失值,并基于所述目标损失值确定是否生成预先训练的动作检测网络。
3.根据权利要求2所述的方法,其特征在于,所述根据所述I3D网络、卷积模块以及未剪辑的源视频生成降维的时序特征,包括:
在未剪辑的源视频中采样预设时序长度的RGB图和光流图;
将所述RGB图和光流图分别输入所述I3D网络中,输出RGB图序列特征和光流图序列特征;
将所述光流图序列特征与所述RGB图序列特征进行拼接,得到拼接的时序特征;
将拼接的时序特征经过所述卷积模块进行多次卷积,以使所述拼接的时序特征的特征通道降低到预设特征通道后得到降维的时序特征。
4.根据权利要求2所述的方法,其特征在于,所述根据所述局部自注意力模块、全局自注意力模块分别与降维的时序特征构建出多个局部融合特征和全局融合特征,包括:
通过预先设置的多个不同窗口大小的滑窗在所述降维的时序特征上沿着时序方向滑动,得到多个滑窗特征;
将每个滑窗特征依次输入所述局部自注意力模块中,输出每个滑窗局部特征集合;
将所述每个滑窗局部特征集合中各局部特征沿着时序方向进行拼接,得到多个局部融合特征;
将所述降维的时序特征输入所述全局自注意力模块中,输出全局融合特征。
5.根据权利要求2所述的方法,其特征在于,所述根据所述多个局部-全局融合特征、回归模型以及分类模型生成多个偏移量参数和动作参数,包括:
将所述多个目标融合特征并行输入到预先训练的BMN网络中进行提名,输出起始边界点和结束边界点;
根据所述起始边界点和结束边界点得到起始局部区域特征、结束局部区域特征以及主要局部区域特征;
将所述起始局部区域特征、结束局部区域特征分别输入到所述回归模型中,输出起始点偏移量和结束点偏移量;
将所述起始局部区域特征、结束局部区域特征以及主要局部区域特征拼接后,生成局部区域融合特征;
将所述局部区域融合特征输入到所述回归模型中,输出片段中心点偏移量、片段长度偏移量以及包含动作的概率;
将所述局部区域融合特征输入到所述分类模型中,输出动作类别;
将所述起始点偏移量、结束点偏移量、片段中心点偏移量以及片段长度偏移量确定为多个偏移量参数,并将所述包含动作的概率以及动作类别确定为动作参数。
6.根据权利要求5所述的方法,其特征在于,所述根据所述起始边界点和结束边界点得到起始局部区域特征、结束局部区域特征以及主要局部区域特征,包括:
以所述起始边界点、结束边界点为中心点扩展出起始局部兴趣区域和结束局部兴趣区域;
将所述起始边界点和所述结束边界点之间的区域确定为主要局部兴趣区域;
将所述起始局部兴趣区域、结束局部兴趣区域以及主要局部兴趣区域和与其对应的时序特征分别进行时序兴趣区域对齐,得到起始局部区域特征、结束局部区域特征以及主要局部区域特征。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于特斯联科技集团有限公司,未经特斯联科技集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111574171.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种遥感视差图的快速、鲁棒生成方法
- 下一篇:一种具有循环冷却机构的压铸模具