[发明专利]并行化实时稠密体素重建方法

说明书

技术领域

本发明涉及一种视觉和图像处理相关技术，尤其是涉及一种并行化实时稠密体素重建方法。

背景技术

基于视觉信息的三维人体运动跟踪，是计算机视觉领域的重要且富有挑战性的研究方向，相关技术具有广阔的应用前景，主要应用包括：虚拟现实，电影动画，智能监控，高级人机交互，视频传输和压缩以及用于体育和医学方面的运动分析。

人体运动跟踪的主要目标是从图像和视频信息中恢复和估计以参数表示的人体姿态，求解真实人体在三维世界坐标系中的位置和姿态参数。三维体素重建是人体运动跟踪任务比较耗时的部分，使用的技术主要是基于剪影的三维重建技术(shape from silhouette)。本发明使用的概率框架下的人体表面三维重建技术具有更好的鲁棒性，对前景提取的容错性更高。但是，也存在计算效率上的劣势，无法实现实时性(15帧/秒以上)。另外，目前还没有其对应的GPU版本。通过GPU的强大加速能力，本发明希望能够实现该算法的实时性。

由于人体三维运动重建问题的复杂性，使得相关算法的计算复杂度较高，在CPU上运算会遇到较大的瓶颈，而异构计算是很好的选择。异构框架包括主处理器（比如传统的CPU）和附属处理器(attached processor)，附属处理器是包含成千上万的轻量级核心的专属流加速器，比如图形处理单元（Graphic Processing Units）和可编程门阵列（Field Programmable Gate Arrays）。异构计算的主要目的是结合主处理器的通用计算能力和附属处理器的高度密集计算能力对具体应用进行加速。开放计算语言（Open Computing Language）是可以在不同类型的硬件上执行的异构编程框架。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种能够利用普通民用计算机上的异构计算资源、实时准确地进行稠密体素重建的方法。

本发明的目的可以通过以下技术方案来实现：

在下面的叙述中我们用X（最大150）表示x轴采样点个数，Y（最大150）表示y轴采样点个数，Z（最大100）表示z轴采样点个数，N表示相机个数。

一种并行化实时稠密体素重建方法，其特征在于，包括以下步骤：

步骤S1：在附属处理器上计算空间点坐标，前景概率图和空间点概率。

步骤S2：在附属处理器上平滑空间点并生成体素。

全局工作节点数为X*Y*Z。工作组大小为(4,4,4)。空间的平滑过程需要对最大长为2250000的float数组即大约8.6MB的数据进行遍历并生成新的数组，而体素是遍历这个新数组生成的。在CPU中两次遍历数组时间复杂度相同，而且内存复制是廉价的，不过在GPU中因全局访存的限制，两次遍历比一次遍历多一次对所有数据的读操作和对所有数据的写操作，因此合并这个过程可以明显提高GPU的运算效率。

步骤S3：在主处理器上删除内部体素，更新重建范围。

从X*Y*Z*8（最大18000000）个数据中筛选出人体表面体素（约30000个数据）。这个过程在GPU中实现耗时较长，保留CPU实现。

步骤S4：在附属处理器上计算体素颜色、体素投影、得到前景数据。

体素颜色计算可以分成两个部分，体素颜色计算的前半部分和体素投影有部分代码可以通过共用相同的遍历过程来减少全局内存访问，而且颜色计算的前半部分与后半部分遍历不同的数组，不会因拆分而增加内存访问，因此将颜色计算拆分成两部分代码，由两个内核进行计算。

优选地，上述步骤S1包括如下步骤：

S1.1：根据空间位置计算空间点坐标。全局工作节点数为X*Y*Z。工作组大小为(4,4,4)。

S1.2：计算前景概率图。对每个相机分别计算，全局工作节点数为图像像素个数。所有工作节点同时并行计算，对图像r上的一个像素点p的前景概率由某个工作节点按照下式计算