[发明专利]用于三维重建的纹理优化方法及装置

权利要求书

1.一种用于三维重建的纹理优化方法，包括：

获取三维模型以及与所述三维模型对应的至少一帧关键帧图像；

投影所述三维模型，得到与所述至少一帧关键帧图像一一对应的投影图像；

将所述至少一帧关键帧图像中的每帧关键帧图像，与所对应的投影图像进行图像对齐，得到至少一帧对齐后关键帧图像；

根据所述至少一帧对齐后关键帧图像，确定所述三维模型的纹理信息。

2.根据权利要求1所述的方法，其中，所述将所述至少一帧关键帧图像中的每帧关键帧图像，与所对应的投影图像进行图像对齐，得到至少一帧对齐后关键帧图像，包括：

针对于所述至少一帧关键帧图像中的每帧关键帧图像，执行如下操作：

基于光流法，确定该关键帧图像与对应于该关键帧图像的投影图像之间的偏移信息；

根据所述偏移信息，调整该关键帧图像，得到该关键帧图像对应的对齐后关键帧图像。

3.根据权利要求2所述的方法，其中，所述基于光流法，确定该关键帧图像与对应于该关键帧图像的投影图像之间的偏移信息，包括：

确定该关键帧图像和对应于该关键帧图像的投影图像各自的感兴趣区域；

根据感兴趣区域，裁剪该关键帧图像和对应于该关键帧图像的投影图像，分别得到裁剪后关键帧图像和裁剪后投影图像；

基于光流法，确定所述裁剪后关键帧图像与所述裁剪后投影图像之间的偏移信息；以及

所述根据所述偏移信息，调整该关键帧图像，得到该关键帧图像对应的对齐后关键帧图像，包括：

根据所述裁剪后关键帧图像与所述裁剪后投影图像之间的偏移信息，调整所述裁剪后关键帧图像，得到对齐后裁剪图像；

以所述对齐后裁剪图像作为所述对齐后关键帧图像的感兴趣区域，得到该关键帧图像对应的所述对齐后关键帧图像。

4.根据权利要求1所述的方法，其中，所述投影所述三维模型，得到与所述至少一帧关键帧图像一一对应的投影图像，包括：

针对于所述至少一帧关键帧图像中的每帧关键帧图像，执行如下操作：

确定该关键帧图像对应的相机姿态信息、相机内参信息；

根据所述相机内参信息确定投影信息；

根据所述相机姿态信息和所述投影信息，得到所述三维模型对应于该关键帧图像的投影图像。

5.根据权利要求1所述的方法，其中，所述根据所述至少一帧对齐后关键帧图像，确定所述三维模型的纹理信息，包括：

根据反投影关系，将所述至少一帧对齐后关键帧图像映射至所述三维模型，确定所述三维模型的纹理信息。

6.一种用于三维重建的纹理优化装置，包括：

获取单元，被配置成获取三维模型以及与所述三维模型对应的至少一帧关键帧图像；

投影单元，被配置成投影所述三维模型，得到与所述至少一帧关键帧图像一一对应的投影图像；

对齐单元，被配置成将所述至少一帧关键帧图像中的每帧关键帧图像，与所对应的投影图像进行图像对齐，得到至少一帧对齐后关键帧图像；

确定单元，被配置成根据所述至少一帧对齐后关键帧图像，确定所述三维模型的纹理信息。

7.根据权利要求6所述的装置，其中，所述对齐单元，进一步被配置成：

针对于所述至少一帧关键帧图像中的每帧关键帧图像，执行如下操作：基于光流法，确定该关键帧图像与对应于该关键帧图像的投影图像之间的偏移信息；根据所述偏移信息，调整该关键帧图像，得到该关键帧图像对应的对齐后关键帧图像。