[发明专利]一种基于注意力机制的轻量级移位图卷积行为识别方法有效

专利信息
申请号: 202110941050.X 申请日: 2021-08-17
公开(公告)号: CN113673411B 公开(公告)日: 2022-10-18
发明(设计)人: 宋晓宁;苏江毅;冯振华 申请(专利权)人: 江南大学
主分类号: G06V40/20 分类号: G06V40/20;G06V10/764;G06V10/82;G06N3/04;G06N3/08
代理公司: 南京禹为知识产权代理事务所(特殊普通合伙) 32272 代理人: 刘小莉
地址: 214122 江苏*** 国省代码: 江苏;32
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 注意力 机制 轻量级 移位 图卷 行为 识别 方法
【说明书】:

发明公开了一种基于注意力机制的轻量级移位图卷积行为识别方法,包括,对数据集进行预处理,生成关节点信息流数据集、骨长信息流数据集、基于运动信息的关节点信息流数据集和基于运动信息的骨长信息流数据集;构建ALS‑GCN网络,并通ALS‑GCN网络获得信息流的时空间特征;融合信息流的时空间特征,获得行为识别结果;本发明通过构建基于注意力机制的空间移位模块的方式,解决了感受野过小的问题;同时通过构建时间移位模块的方式,解决了非线性堆叠的方式造成的参数量过高的问题,能够在较少计算量的情况下,达到较高的识别精度。

技术领域

本发明涉及的技术领域,尤其涉及一种基于注意力机制的轻量级移位图卷积行为识别方法。

背景技术

行为识别是人工智能领域的重要研究方向之一,在视频监督,智能监控和人机交互等方向有着重要的应用。行为识别同时也是一项具有挑战性的任务,不仅因为处理视频片段所需的计算要求更高,而且易受外界环境因素的影响。这导致了基于RGB视频的行为识别方法往往难以同时满足时效性和准确度的要求。最近几年,得益于深度相机的发展与普及,例如,Microsoft Kinetic,基于深度信息的行为识别逐渐成为了该领域的重要研究方向之一。与传统的RGB数据相比,骨架序列因为不包含颜色信息,所以具有简洁、易校准、不易受外观因素影响的特点。

早期的基于人体骨架的行为识别方法主要通过手工设计特征的方式来对行为进行表征,但是,由于手工提取的特征往往表征能力有限并且需要耗费大量精力用于调参优化。

目前主流的基于骨架行为识别的方法虽然在表征时间信息方面优势明显,可以从不同时间区间提取多尺度的特定局部模式,但都存在一定的问题,例如优化难度高、易丢失原始的关节点信息、存在参数量过于庞大,对计算要求过高的问题。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题,提出了本发明。

因此,本发明提供了一种基于注意力机制的轻量级移位图卷积行为识别方法,能够解决感受野过小的问题和非线性堆叠的方式造成的参数量过高的问题。

为解决上述技术问题,本发明提供如下技术方案:包括,对数据集进行预处理,生成关节点信息流数据集、骨长信息流数据集、基于运动信息的关节点信息流数据集和基于运动信息的骨长信息流数据集;构建ALS-GCN网络,并通过所述ALS-GCN网络获得信息流的时空间特征;融合所述信息流的时空间特征,获得行为识别结果。

作为本发明所述的基于注意力机制的轻量级移位图卷积行为识别方法的一种优选方案,其中:所述预处理包括,剔除误检的摄像头数据;定义评判骨架序列能量的指标,剔除误检的关节点数据;归一化关节点坐标数据;归一化视角。

作为本发明所述的基于注意力机制的轻量级移位图卷积行为识别方法的一种优选方案,其中:还包括,通过卷积神经网络对所述关节点信息流数据集、骨长信息流数据集、基于运动信息的关节点信息流数据集和基于运动信息的骨长信息流数据集进行特征提取,获得关节点信息流、骨长信息流、运动信息流和基于运动信息的骨长信息流。

作为本发明所述的基于注意力机制的轻量级移位图卷积行为识别方法的一种优选方案,其中:所述ALS-GCN网络包括空间移位模块和时间移位模块;所述空间移位模块包括空间注意力模块和通道注意力模块;通过设定自适应的时序shift图卷积和增加短连接,优化所述时间移位模块。

作为本发明所述的基于注意力机制的轻量级移位图卷积行为识别方法的一种优选方案,其中:所述骨长信息流包括,定义离骨架重心较近的关节为源关节,离重心较远的关节为目标关节;t帧中的源关节为:

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于江南大学,未经江南大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202110941050.X/2.html,转载请声明来源钻瓜专利网。

同类专利
专利分类
×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top