[发明专利]一种具有计算量自适应能力的快速人体姿态估计方法、装置及电子设备

说明书

本申请实施例中提供了一种具有计算量自适应能力的快速人体姿态估计方法、装置及电子设备，所述方法，包括接收输入图像；采用具有自适应调整计算量的卷积神经网络进行人体姿态估计，其中，将所述输入图像进行特征抽取，对抽取的特征进行初步处理，得到人体姿态相关特征和人体姿态估计的初步结果；将所述初步结果与所述人体姿态相关特征进行精修，得到人体姿态检测结果，对所述人体姿态检测结果进行进一步精修，直至其与上一阶段的人体姿态检测结果的差异数值小于预设阈值；作为最终的人体姿态估计结果进行输出。通过本申请的处理方案，本方法具有自适应调节计算量的能力，在给定一个整体的计算量预算的情况下，可以获得更高的平均精确度。

技术领域

本申请涉及姿态检测领域，尤其涉及一种具有计算量自适应能力的快速人体姿态估计方法、装置及电子设备。

背景技术

人体姿态检测是一种可以从图片中检测出人体主要关节点位置的技术，常见的关节点包括头顶点，脖子点，肩膀点，手肘点，手腕点，髋关节点，膝盖点，踝关节点等。人体姿态检测是对图片中的人体进行高层语意理解的关键组成部分，有广泛的应用，例如：人体动作理解，人机交互，自动监控等。近年来，随着人工智能技术的高速发展，特别是深度学习技术的发展，人体姿态检测的精度达到了非常高的水准，但是伴随而来的是深度神经网络越来越大的计算量。这给在端侧部署人体姿态系统带来了巨大的挑战。

为了在端侧部署人体姿态检测系统，势必需要对计算量进行缩减，更具体的说，是需要对其中的深度卷积神经网络的计算量进行缩减。一般有以下几种方案：第一，更高效的网络结构设计，例如基于mobileNet，shuffuleNet等高效网络结构来设计人体姿态检测的网络结构，或者利用NAS技术搜索高效网络结构。第二，利用蒸馏技术来从一个大的teacher网络里面蒸馏出一个速度更快的student网络。第三，利用网络量化技术来把一个浮点的人体姿态检测模型量化为定点模型。

虽然以上几种方案都可以缩减深度卷积神经网络的计算量，但是这种缩减对于所有的输入图片都是相同的，并没有考虑输入图片本身的复杂度对于计算量的影响。这就带来了两个问题，如果网络缩减的过小，比较困难的输入图片得到的检测结果会比较差，如果网络缩减的不够，虽然网络在大部分输入图片上都会得到比较好检测结果，但是整体的计算量会比较大。在理想状况下，如果输入比较简单或者计算资源比较紧张，人体姿态检测系统可以选择使用计算量比较小的网络，如果输入比较困难或者计算资源比较丰富，则人体姿态检测系统可以选择使用计算量比较大的网络。在一定的计算资源的限制下，人体姿态检测网络可以自由的分配计算量，整体上获得更好的检测精度。

发明内容

有鉴于此，本申请实施例提供一种具有计算量自适应能力的快速人体姿态估计方法、装置及电子设备，至少部分解决现有技术中存在的问题。

第一方面，本申请实施例提供了一种具有计算量自适应能力的快速人体姿态估计方法，所述方法包括：

接收输入图像；

采用具有自适应调整计算量的卷积神经网络进行人体姿态估计，其中，

将所述输入图像进行特征抽取，对抽取的特征进行初步处理，得到人体姿态相关特征和人体姿态估计的初步结果；

将所述初步结果与所述人体姿态相关特征进行精修，得到人体姿态检测结果，对所述人体姿态检测结果进行进一步精修，直至其与上一阶段的人体姿态检测结果的差异数值小于预设阈值；

该阶段的人体姿态检测结果作为最终的人体姿态估计结果进行输出。

根据本申请实施例的一种具体实现方式，所述具有自适应调整计算量的卷积神经网络依次包括stem模块，初始化模块和精修模块；

所述精修模块包括若干精修子模块，每个精修子模块代表一个精修阶段。