[发明专利]一种移动端的多人人体骨架识别方法及装置

说明书

本发明公开了一种移动端的多人人体骨架识别方法及装置，方法包括：S1.从视频中解码获取图像帧；S2.从所述图像帧中识别出人体区域，生成人体子图；S3.将所述人体子图进行识别调度，分配给所述移动端的CPU和/或GPU进行识别，通过所述CPU和/或GPU分别运行预设的骨架识别模型，识别出人体骨架。本发明具有识别速度快、延迟低，识别精度高等优点。

技术领域

本发明涉及移动计算领域，尤其涉及一种移动端的多人人体骨架识别方法及装置。

背景技术

随着移动设备性能的发展，人体姿态估计的应用领域越来越广，比如动作识别，通过追踪一段时间内一个人姿态的变化，从而实现对人体动作的解读，这可以用于检测一个人是否摔倒或者疾病，也可以用于健身体育和舞蹈的自动教学。

目前，基于深度学习的人体姿态估计模型在资源受限的移动端设备上很难取得令人满意的效果。目前最新的模型虽然能取得较高的精确度，但是带来的却是巨大的计算任务量，在移动设备运行这些模型给造成很大的计算延迟，从而带来极差的用户体验。如文献SUN，K.，XIAO，B.，LIU，D.，AND WANG，J.Deep high-resolution representation learningfor human pose estimation.arXiv preprint arXiv:1902.09212(2019).所公开的技术方案，其单人姿态估计模型在MPII数据集上取得了较高的精度，其PCKh值(Head-normalized Percentage of Correct Keypoints)为92.3，但是将模型运行到移动端设备上时，即使在移动设备GPU的支持下，对一个视频帧进行典型的CNN处理也需要600毫秒，因此，该技术方案难以在移动端实施且取得较好的效果。而

谷歌公司提出的适用于移动端运行的姿态识别模型PoseNet，通过深度学习模型压缩的方法，设计出了适用于移动端的人体姿态识别模型。PoseNet中将传统的卷积操作(CNN)替换成具有更少计算量的深度可分离卷积(Depthwise CNN)，并且用深度可分离卷积逐级堆叠成单支网络结构。PoseNet在Snapdragon 845SoC上运行单人姿态识别模型，在CPU上运行的延迟缩减到只有60ms。但是这仅仅是单人姿态估计，如果是多人姿态估计，其延时将会随着人数的增加呈线性增长，并且压缩过后的模型精度损失较大，比如PoseNet在MPII数据集的PCKh的值只有80.3。

因此，在移动端对人体骨架进行识别，特别是对多人的人体骨架识别中，如何既能保证识别的速度，降低延迟，又保证识别的精度，仍是一个亟待解决的问题。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种识别速度快、延迟低，识别精度高的移动端的多人人体骨架识别方法及装置。

为解决上述技术问题，本发明提出的技术方案为：一种移动端的多人人体骨架识别方法，包括如下步骤：

S1.从视频中解码获取图像帧；

S2.从所述图像帧中识别出人体区域，生成人体子图；

S3.将所述人体子图进行识别调度，分配给所述移动端的CPU和/或GPU进行识别，通过所述CPU和/或GPU分别运行预设的骨架识别模型，识别出人体骨架。

进一步地，所述步骤S1中的图像帧包括关键帧和追踪帧；

所述关键帧为所述视频中的第一预定帧，所述追踪帧为所述视频中的第二预定帧；

或者：所述关键帧为根据预定的参考点，若当前图像帧中所述参考点相对于前一所述关键帧中所述参考点的位移大于预设阈值时，则当前图像帧为关键帧，否则当前图像帧为跟踪帧。