[发明专利]一种移动端实时人体姿态估计方法及系统

说明书

本发明涉及姿态检测技术领域，提供一种移动端实时人体姿态估计方法及系统，所述方法包括：步骤100，利用图像采集设备采集检测图片；步骤200，将检测图片输入姿态识别模型的主干网络中，进行特征提取，得到特征图；其中，所述姿态识别模型，包括：主干网络、多个反转置卷积层和一个卷积层；所述主干网络采用MobileViT网络；步骤300，将主干网络输出的特征图，依次输入多个反转置卷积层和一个卷积层，得到人体关键点的热力图；步骤400，根据热力图，预测出最终的人体关键点信息，实现人体姿态估计。本发明能够保证网络的轻量化，大降低模型参数量和计算量，提高检测速度。

技术领域

本发明涉及姿态检测技术领域，尤其涉及一种移动端实时人体姿态估计方法及系统。

背景技术

2D人体姿态估计(Human Pose Estimation，HPE)是视觉的重要任务，核心任务是检测视频或图片里的人体手部、肩、胯部等各个关节点信息，是很多任务的铺垫工作。人体姿态估计在智慧社区、安全校园、AI游戏互动等领域应用越来越广。为了确保各个场景的速度和精度，提高人体姿态估计的速度和精度是及其核心的任务。

最近十年，深度学习蓬勃发展，已经广泛应用到2d人体姿态估计中。在深度学习领域，出名的效果棒的人体姿态关键点算法有基于resnet为主干网络的SimpleBaseline方法，保持多分辨率并行的Hrnet，并行子网络的多尺度特征融合让速度很慢。

当前的2D人体姿态估计主要是采用传统的纯卷积网络，研究存在参数量大，计算复杂，推理速度慢的问题，尤其对于移动端等计算资源十分有限的场景。在移动端进行2D姿态的研究部署时，很难达到网络性能和部署环境的平衡：在保证高鲁棒性高精度的同时很难保证高的检测速度。基于传统的计算机视觉技术，很难在最新的移动端达到功耗小且高精度，移动端设备性能与网络计算复杂度难以平衡。

综上所述，现有的移动端人体姿态估计方法主要是采用传统的纯卷积网络，无法对复杂的场景有好的鲁棒性，很难对人体姿态进行高精度和高速度的实时估计。

发明内容

本发明主要解决现有的移动端人体姿态估计方法主要是采用传统的纯卷积网络，无法对复杂的场景有好的鲁棒性，很难对人体姿态进行高精度和高速度的实时估计等技术问题，提出一种移动端实时人体姿态估计方法及系统，以保证网络的轻量化，大降低模型参数量和计算量，提高检测速度。

本发明提供了一种移动端实时人体姿态估计方法，包括以下过程：

步骤100，利用图像采集设备采集检测图片；

步骤200，将检测图片输入姿态识别模型的主干网络中，进行特征提取，得到特征图；其中，所述姿态识别模型，包括：主干网络、多个反转置卷积层和一个卷积层；所述主干网络采用MobileViT网络；

步骤300，将主干网络输出的特征图，依次输入多个反转置卷积层和一个卷积层，得到人体关键点的热力图；

步骤400，根据热力图，预测出最终的人体关键点信息，实现人体姿态估计。

优选的，所述MobileViT网络，包括：依次设置的3*3卷积模块、Mobilenetv2模块、Mobilenetv2模块、Mobilenetv2模块、Mobilenetv2模块、Mobilenetv2模块、MobileViTBlock模块、Mobilenetv2模块、MobileViT Block模块、Mobilenetv2模块、MobileViT Block模块。

优选的，所述3*3卷积模块采用降采样2倍，第二个、第五个、第六个和第七个Mobilenetv2模块均采用降采样2倍。

优选的，所述MobileViT Block模块里包含Transformer Encoder模块。

优选的，所述Transformer Encoder模块具有自注意力机制；