[发明专利]一种移动端轻量化2D人体姿态估计模型

说明书

本发明涉及人体姿态估计技术领域，提供一种移动端轻量化2D人体姿态估计模型，基于heatmap热度图获取最大值方式，对ResNet50残差网络模型进行调整和优化，构造了szspacenet模型，采用了上采样时和下采样特征图进行相加，扩张卷积等思想，让模型轻量化，同时准确率也在较高水平。训练所得模型大小在14M‑15M区间，使用移动端框架tnn前向推理，szspacenet模型在单人情况下，gpu可处理达到60fps(一秒前向推理的帧数)，cpu可达40fps，和openpose、blazepose推理速度相当。自然场景下准确率可到93％‑95％，和fastpose、hrnet相当。

技术领域

本发明涉及人体姿态估计技术领域，尤其涉及一种移动端轻量化2D人体姿态估计模型。

背景技术

目前，2D人体骨骼关键点检测的算法模型基本上都遵循自顶向下(TopDown)、自底向上(BottomUp)两种思路来实现：自顶向下(Topdown)先检测人的边界框(bounding box)，再对每个边界框(bounding box)检测出人体骨骼关键点；自底向上(BottomUp)的人体骨骼关键点检测算法主要包含关键点检测和关键点聚类连接两个部分，关键点检测目的是将图片中所有人的所有关键点全部检测出来。关键点检测完毕之后需要对这些关键点进行聚类处理，将每一个人的不同关键点连接在一块，从而连接产生不同的个体。

自顶向下(Topdown)方式是先检测人的边界框(bounding box)，再检测出人体骨骼关键点。当前获取人体的关键点的方式主要有两种：方式一是训练得到关键点的heatmap(热度图)，从heatmap中找到最大值的索引位置为当前关键点的坐标；方式二是在heatmap(热度图)基础上，再模型回归得到关键点坐标。由于受到光照，身体或摄像机晃动，前后帧检测框坐标偏差等都会造成图像的输入不稳定，以致模型最后输出的关键点坐标不稳定(晃动)。原因是大部分heatmap(热度图)是通过高斯模糊函数(或者自定义的高斯分布函数)生成，只要外部环境稍微不稳定，就可能造成heatmap(热度图)最大值的不稳定。

现有技术中也有通过深度学习的2d姿态估计模型来进行人体姿态估计的，但由于计算量大，推理时间长，大部分模型都是部署在有专业显卡的服务器上的。高准确度意味着网络更深更复杂，需要计算资源更多，计算时间更长。要在移动端实现落地，需要高准确度外，模型还要轻量化。

发明内容

本发明主要解决现有技术的深度学习的2d姿态估计模型，由于计算量大，推理时间长，而且要求高准确度，难以在移动端实现的技术问题，提出一种移动端轻量化2D人体姿态估计模型，以达到让模型轻量化的同时，准确率也在较高水平，能够实现在移动端应用的目的。

本发明提供了一种移动端轻量化2D人体姿态估计模型，包括：

在残差网络的基础上，调整各阶段的瓶颈层的数量，使用调整后的模型对图像数据进行下采样；

调整瓶颈层结构，将常规卷积用深度可分离卷积代替；所述深度可分离卷积包括一个深度卷积和逐点卷积；

对调整后的模型使用不需参数训练的插值算子代替反卷积算子；

输入适合人体的身高比例的图像，且腿部使用空洞卷积来扩大感受空间；

上采样过程中，深度可分离卷积和常规卷积交叉使用，并使用上采样和下采样相同尺寸的特征图相加来增强特征信息；

多次使用深度可分离卷积和1×N/N×1卷积核卷积来代替N×N卷积，以减少模型参数且保持准确率稳定；N为大于等于1的常数。

进一步地，所述调整各阶段的瓶颈层的数量，包括：调整五个阶段的瓶颈层的数量；所述五个阶段分别为：Stage0、Stage1、Stage2、Stage3、Stage4；Stage1、Stage2、Stage3、Stage4的瓶颈层的数量依次由残差网络的3、4、6、3调整为3、5、12、3。