[发明专利]一种人体姿态估计方法及移动终端

说明书

本发明公开了一种人体姿态估计方法，该方法适于对待处理视频中的人体关键点进行标注以提取人体姿态信息，该方法适于在移动终端中执行，包括步骤：获取待处理视频，并判断当前图像帧的上一图像帧的关键点位置是否存在；若不存在上一图像帧的关键点位置，则检测当前图像帧中的人体位置，生成包含该人体位置的目标框；若存在上一图像帧的关键点位置，则根据上一图像帧中标注的人体关键点位置生成当前图像帧对应的目标框；对所生成的目标框进行尺度变换以生成预定尺寸的人体图像；将预定尺寸的人体图像输入预定姿态估计模型，以输出标注了人体关键点位置的图像；以及根据所标注的关键点位置估计人体姿态。本发明一并公开了相应的移动终端。

技术领域

本发明涉及图像处理技术领域，尤其是一种人体姿态估计方法及移动终端。

背景技术

人体姿态估计是指对图像或视频中人体关键点进行标注，进而提取人体基本姿态信息的过程，如图1所示，其中圆点表示标注出的人体关键点，根据所标注出的人体关键点就可以获取人体基本姿态信息。常用的人体关键点(即，人体关节点或称之为骨骼点)包括头部、颈部、双肩、双肘、双腕、双胯、双膝和双踝等。人体姿态估计就是要识别出图像视频中人体上的这些关键点的位置。

现有的人体姿态估计算法可分为传统视觉方法和基于深度学习的方法。传统视觉方法采用人体不同肢干模板构成的弹簧模型，对图像或视频中的人体不同部分进行匹配和标注。从2014年起，基于深度学习的方法被提出，大幅提高了人体姿态估计算法的性能和算法效率，常见的基于深度学习的人体姿态估计算法例如有，基于AlexNet结构设计的级联网络，用来直接回归每个点的坐标位置；或者采用分阶段的卷积网络，将前一阶段的计算结果和原始图像一起作为下一阶段的输入，不断对结果进行精细化；等等。

但是在实际场景中，由于不同图像或视频中人体所占比例不同、衣着各异、遮挡关系和拍摄角度复杂，人体姿态估计往往很难迅速有效地进行。另外，除目标外观的多样性外，算法运行效率也是需要重点考虑的问题。目前的姿态估计算法在运算效率上都达不到移动端应用的要求。在移动端应用普及的今天，设计一套在移动端快速运行的人体姿态估计算法还是很有意义的。

因此，需要开发一种更精简的人体姿态估计模型，来实现移动端姿态估计的需求。

发明内容

为此，本发明提供了一种人体姿态估计方法及移动终端，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明的一个方面，提供了一种人体姿态估计方法，该方法适于对待处理视频中的人体关键点进行标注，以提取人体姿态信息，该方法适于在移动终端中执行，包括步骤：获取待处理视频，并判断当前图像帧的上一图像帧的关键点位置是否存在；若不存在上一图像帧的关键点位置，则检测当前图像帧中的人体位置，生成包含该人体位置的目标框；若存在上一图像帧的关键点位置，则根据上一图像帧中标注的人体关键点位置生成当前图像帧对应的目标框；对所生成的目标框进行尺度变换以生成预定尺寸的人体图像；将预定尺寸的人体图像输入预定姿态估计模型，以输出标注了人体关键点位置的图像；以及根据所标注的关键点位置估计人体姿态。

可选地，在根据本发明的人体姿态估计方法中，对所生成的目标框进行尺度变换以生成预定尺寸的人体图像的步骤包括：从该目标框对应的当前图像帧中裁剪出目标框所包含的图像；以及对目标框所包含的图像进行缩放处理以得到预定尺寸的人体图像。

可选地，在根据本发明的人体姿态估计方法中，将预定尺寸的人体图像输入预定姿态估计网络，以输出标注了人体关键点位置的图像的步骤包括：将预定尺寸的人体图像输入预定姿态估计网络，输出每个关键点的位置概率图和背景图；将各关键点的位置概率图中概率值最大的位置标注为对应关键点的位置；以及通过叠加背景图和标注的各关键点位置得到标注了人体关键点位置的图像。

可选地，在根据本发明的人体姿态估计方法中，预定姿态估计模型包括：预定神经网络结构，用于提取人体图像的图像特征；以及第一数目个卷积阶段，用于提取本卷积阶段的图像特征，其中第一数目个卷积阶段依次连接、且第一个卷积阶段与预定神经网络结构相连接。