[发明专利]用于位姿估计的方法和系统

说明书

本公开涉及一种用于位姿估计的方法和系统。所述方法包括：从图像中提取多组部位特征图，所提取的每一组部位特征图对特定身体部位的消息进行编码并形成部位特征网络的节点；将所提取的每一组部位特征图的消息传递通过所述部位特征网络，以更新所提取的部位特征图，从而使所提取的每一组部位特征图包含上游节点的消息；基于所更新的部位特征图，估计所述图像内的身体部位。

技术领域

本公开涉及一种用于位姿估计的方法和系统。

背景技术

人体位姿估计旨在估计图像中的身体部位的位置，这可应用于各种视觉任务，例如动作识别、跟踪和人机交互。尽管已经努力了很长时间，但是位姿估计仍然是具有挑战性且未被解决的问题。肢体取向、衣物、视角、背景杂物、截断和遮蔽的较大变化会使得位姿估计更加困难。

众所周知，位姿估计可通过优化从输入图像生成的外观得分图来实现。关于得分图，某一位置处的视觉图案的信息被概括成单个概率值，以指示存在对应的身体部位的可能性。例如，如果肘部位置在得分图上具有较大响应，那么可以得出此位置可能属于肘部的结论。然而，肘部的面内和面外旋转、与肘部相连接的上臂和下臂的定向、遮蔽状态等都是不确定的。此类详细信息对估计其它身体部位的位置来说是有价值的，但是在得分图中无法看出，这使得身体部位当中的结构学习的有效性变低。

发明内容

下文呈现对本公开的简化概述，以便提供对本公开的一些方面的基本理解。此概述并非本公开的详尽综述。此概述既不标识本公开的重要或关键要素，也不划定本公开的特定实施方式的任何范围或权利要求书的任何范围。其唯一目的是以简化形式呈现本公开的一些概念，以作为稍后呈现的更详细描述的序言。

可以观察到，部位间信息在利用卷积神经网络学习分层特征表示的特征级下得到很好的保留。为了至少部分地解决上述问题中的一个问题，在本申请的一个方面中提出一种用于位姿估计的方法。该方法包括：从图像中提取多组部位特征图，所提取的每一组部位特征图表示身体部位并形成部位特征网络的节点；将所提取的每一组部位特征图的消息传递通过部位特征网络，以更新所提取的部位特征图，通过所述更新使所提取的每一组部位特征图包含上游节点的消息；基于所更新的部位特征图，估计图像内的身体部位。因为身体部位之间的部位特征图中所含的丰富信息由于特征级中的消息传递过程而可以被大部分保留下来，所以位姿估计准确性将会增强。

在本申请的一个实施方式中，在相反方向上传递消息，且在不同方向上执行更新后的每一对部位特征图组合成得分图。使用所生成的得分图以更高的准确性来估计图像内的位姿。

在本申请的一个实施方式中，通过CNN提取部位特征图，且优选地通过VGG网提取部位特征图。

在本申请的一个实施方式中，仅启用VGG网的3个池化层来保留较高分辨率。

在本申请的一个实施方式中，通过利用几何变换核的卷积操作传递消息。

另一方面，提供一种用于位姿估计的系统。该系统包括：存储可执行组件的存储器；以及处理器，其电联接到存储器以执行可执行组件从而进行以下操作：从图像中提取多组部位特征图，所提取的每一组部位特征图表示身体部位并形成部位特征网络的节点；将所提取的每一组部位特征图的消息逐个节点地传递通过部位特征网络，以更新所提取的部位特征图，从而使所提取的每一组部位特征图包含先前传递的节点的消息；基于所更新的部位特征图，估计图像内的身体部位。

另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有可由处理器运行以执行以下操作的计算机可读指令，所述操作包括：从图像中提取多组部位特征图，所提取的每一组部位特征图表示身体部位并形成部位特征网络的节点；将所提取的每一组部位特征图的消息传递通过部位特征网络，以更新所提取的部位特征图，通过所述更新使所提取的每一组部位特征图包含上游节点的消息；基于所更新的部位特征图，估计图像内的身体部位。

附图说明