[发明专利]一种RGBD图像中物体形状的补全方法

摘要

本发明公布了一种RGBD图像中物体形状的补全方法，该方法采用单幅RGBD图像中预分割出的物体作为输入，借助数据库中的同类别三维模型计算估计出初步的完整形状，然后通过基于体块匹配的优化算法计算得到最优的完整形状；本发明简化了三维数据采集的复杂流程，用户不再需要手持RGBD相机围绕物体进行多次扫描，而只需像拍摄照片一样按一个按钮即可；本发明的方法在后台可以将用户拍摄的单幅RGBD图像的数据进行自动补全，补全后的物体形状不仅从全局外观上符合用户预期，而且局部细节也和RGBD图像中可见部分的细节保持一致。

主权项

1.一种RGBD图像中物体形状的补全方法，其特征在于，包括以下步骤：（1）数据驱动的初始解计算：将数据库中的同类别三维模型和输入的深度数据进行匹配，将最优匹配的模型和深度数据转化为体素表达作为初始解；（1.1）刚体变换数据库模型，使得变换后模型到输入深度数据之间的距离最小；（1.2）在得到步骤（1.1）的最佳刚体匹配后，进一步非刚体变形模型，改善匹配；在变形的能量方程中加入对称项，尽可能在变形过程中维持对称性；（1.3）如果数据库模型被预分割为各个部分，在得到步骤（1.2）的非刚体匹配之后，进一步对各个部分在局部范围内进行步骤（1.1）的刚体匹配和步骤（1.2）的非刚体匹配，以改善各组成部分的匹配；（1.4）挑选最优匹配；如果模型没有被预分割，直接挑选步骤（1.2）后的变形后匹配最好的模型作为最优匹配的模型；如果模型被预分割，则挑选各个模型中匹配最好的部件，拼接在一起，组成最优匹配模型；（1.5）将深度数据和最佳匹配模型分别转化为基于三维栅格的有向距离场表达，栅格的每个体素记录了它到真实表面的有向距离，并只记录和真实表面很近的体素的值；保持深度数据对应的体素的值不变，将匹配模型对应的体素融合到深度数据对应的三维栅格中；（2）基于体块匹配的优化算法：为待优化目标区域的体素组成的体块寻找相似的源区域的体块，然后进行受约束的非线性优化；寻找和优化步骤交替进行，直到收敛；（3）基于体块融合的去噪：对优化后的每一个体块搜索数据库模型中相似的多个体块，并将它们融合到对应的体块中去，去除优化后形状表面的高频噪声。