[发明专利]在姿态估计中使用的骨架平滑方法和设备

说明书

技术领域

本发明涉及姿态估计技术，更具体地说，涉及一种对在姿态估计中得到的骨架进行平滑的方法和设备。 

背景技术

姿态估计（Pose Estimation，PE）是一种近年来的热门技术，在机器人视觉、动作跟踪和单照相机定标等很多领域都有应用。利用此技术，可以将图像里面的人的姿态估计出来，从而进一步用于对人体姿态的识别和评价， 

以及对虚拟模型的控制等等。人体姿态估计是指从图像中检测人体各部分的位置并计算其方向和尺度信息。而往往简单估计出来的姿态会有因为观测或者算法导致的一些误差，影响输出姿态的效果。因此，平滑技术常用于姿态估计的后处理阶段。 

然而，传统的平滑技术主要是对于关节点的平滑，点与点之间是相互独立的或者是有一些简单的限制条件的，例如，限制两点之间有一个固定长度，这样最后的平滑结果会缺乏一些常识性的限制，例如，对真实的骨骼长度的限制。 

例如，一种传统的平滑技术在提取骨架之后，针对每一个关节点的三维位置分别进行平滑。而这样基于独立点平滑的系统很难满足作为人体的一些物理限制：比如身体各部分骨骼基本保持不变。该方法很难适用于一些特殊复杂姿态的情况，比如双手交叉于胸前。其它一些传统的平滑技术也有类似的问题，都是基于骨骼关节点来进行平滑的，虽然使用了一些简单的物理限制来限制，也无法达到预想的效果。 

另一种传统的平滑技术考虑到上述问题，使用了无损卡尔曼滤波器（UKF）和一个完整的骨骼模型来进行骨架的提取和平滑，但使用反向动力学来进行计算，即通过获得肢端的位置信息来反推骨骼的状态，从而得到所有关节点的位置，速度很慢很难适应于实时系统，并且匹配效果较差。另外最重要的是，该技术使用了完整的骨骼系统，但是却是一个固定长度的系统，比如说 固定的骨骼长度或者固定的骨骼比例关系。这样的固定模型很难适用于不同用户的情况，就不能成为适用于任意用户的系统。 

因此，需要一种能够实时输出更加精确合理的平滑骨架并能够适用于不同用户的方法和设备。 

发明内容

本发明的目的在于至少解决上述问题，并至少提供下述优点。本发明的一方面在于提供一种在姿态估计中使用的骨架平滑方法和设备，所述骨架平滑方法和设备通过使用与骨架中的关节点相应的骨骼长度和骨骼旋转角度的信息动态地约束骨架中的关节点的位置，来对骨架中的关节点的位置进行平滑。 

根据本发明的一方面，提供了一种姿态估计设备，包括：图像获取单元，获取拍摄的图像；用户区域提取单元，通过用户区域分析来从拍摄的图像中提取用户区域；骨架提取单元，通过使用骨架提取技术来从用户区域提取骨架图像；骨架模型设置单元，设置包括多个关节点的骨架模型，其中，所述多个关节点包括根节点，根节点是位于骨盆中的用于表示人体在世界坐标系中的位置的假设点；骨架平滑单元，从骨架图像中获得所述多个关节点中除根节点之外的其余关节点的位置信息，从所述位置信息中计算根节点的位置以及与所述多个关节点相应的骨骼长度和骨骼旋转角度的信息，通过使用与所述多个关节点相应的骨骼长度和骨骼旋转角度的信息动态地约束所述多个关节点的位置，来对所述多个关节点的位置进行平滑；骨架输出单元，输出平滑后的骨架图像。 

根据本发明的另一方面，提供了一种对姿态估计中的骨架图像进行平滑的设备，包括：骨架模型设置单元，设置包括多个关节点的骨架模型，其中，所述多个关节点包括根节点，根节点是位于骨盆中的用于表示人体在世界坐标系中的位置的假设点；骨架平滑单元，从骨架图像中获得所述多个关节点中除根节点之外的其余关节点的位置信息，从所述位置信息中计算根节点的位置以及与所述多个关节点相应的骨骼长度和骨骼旋转角度的信息，通过使用与所述多个关节点相应的骨骼长度和骨骼旋转角度的信息动态地约束所述多个关节点的位置，来对所述多个关节点的位置进行平滑，从而获得平滑的骨架图像。 

所述多个关节点还可包括头部节点、颈部节点、左肩节点、右肩节点、左肘节点、右肘节点、左腕节点、右腕节点、左臀节点、右臀节点、左膝节点、右膝节点、左踝节点、右踝节点，其中，将肘部和膝部的关节点设置为铰链关节，仅在一个固定平面内旋转，其它关节点任意旋转，通过每个关节点为原点的坐标系的旋转量来表示骨骼的旋转方向。