[发明专利]一种三维建模数据采集装置及其三维建模方法

权利要求书

1.一种三维建模数据采集装置，包括标准光源可调的灯箱(11)，所述灯箱(11)内部设置有相机(12)，所述灯箱(11)内部还设置有转盘(13)，其特征在于，所述转盘(13)上设置有标定板(14)，所述标定板(14)为黑点白底平板，所述黑点为圆点，且数量为64个。

2.根据权利要求1所述的三维建模数据采集装置，其特征在于，所述转盘(13)为数控转盘。

3.根据权利要求1所述的三维建模数据采集装置，其特征在于，所述相机(12)为数码相机。

4.一种如权利要求1-3任一所述的三维建模数据采集装置的三维建模方法，其特征在于，包括数据采集和算法流程；

所述数据采集方法包括以下步骤：

1)调整并固定住相机(12)的位置；

2)把标定板(14)单独放置于转盘(13)上；

3)控制转盘分N次旋转一周，每次拍摄一张标定图像；

4)转盘复位，取下标定板(14)，放置待测物体；

5)重复步骤3)，获得N张物体图像；

所述算法流程包括以下步骤：

1)获得相机的内部参数；

2)前景提取；

3)相机标定；

4)模型雕刻和内部挖空处理；

5)模型优化；

6)颜色注册和网格生成；

7)模型渲染。

5.根据权利要求4所述的三维建模数据采集装置的三维建模方法，其特征在于，所述N设为24～40。

6.根据权利要求5所述的三维建模数据采集装置的三维建模方法，其特征在于，所述算法流程包括以下步骤：

1)获得相机的内部参数，所述内部参数包括相机的内部矩阵和畸变参数；

2)前景提取，采用了基于深度学习的Mask R-CNN神经网络，以及谷歌开源的DeepLabv3+工程对所述数据采集方法中，对所述数据采集方法中采集标定图像和物体图像进行前景提取；

3)相机标定，下面的公式显示了标定板(14)上每个圆点的三维坐标到相应的相机(12)图像齐次坐标的映射关系：

P_2d＝K(R(P_3d+T)) ①

其中R是一个3×3旋转矩阵，表示标定板(14)坐标到相机(12)三维坐标的旋转：T是一个3×1平移矩阵，表示标定板(14)到相机(12)之间的坐标平移；K是在步骤1)中获得该相机(12)的内部矩阵，把三维的相机(12)坐标转换为图像上的二维坐标；所述标定板(14)上有64个圆点，列出一个由64个方程组成的方程组，解PnP问题得到R和T；反之，图像坐标也能推导出标定板(14)坐标，从上述公式推导出图像坐标到以标定板(14)为参考的外部三维空间的映射：

P₃＝R′P_C-T ②

其中定义一条在连接3D点到相机(12)中心点的直线上的线段，m是一个定义线段长度的尺寸；

4)模型雕刻和内部挖空处理，首先限定物体所在的区域，以所述标定板(14)坐标为参考，在一个封闭的三维空间中创造一些原始三维坐标点云；然后根据相机(12)的标定参数和前景图像，从每个角度去掉非物体点云，使用公式①把点云中的每个点映射到图像上的一个点；根据前景图像判断这个点是否为物体上的一点，遍历所有位置拍摄的图像中所有的点，去掉非物体点云，根据每个点的邻域信息，使用了Marching cube算法去掉26领域连接点；

5)模型优化，通过水平集双边滤波和非线性几何优化对结构进行了保留特征的平滑优化；

6)颜色注册和网格生成，根据公式①找到每个三维点和图像上的二维点的对应关系，通过对应关系把图像的颜色直接赋予三维点；

不同角度拍摄的图片的覆盖范围有重叠，则根据相机(12)到点的距离d把像素颜色的加权平均值赋予点云，即

其中

7)模型渲染，首先进行目标相机的内参标定，并使用标定板获得以场景平面为参考的相机旋转和平移，在VTK环境中进行相应的设置，之后把模型载入环境中，根据要求对角度和位置进行调整，并适当调整光照；其次判断放进去的模型彼此是否重叠，并去掉重叠的模型，把不重叠的模型的截图融合在一张大图上，施加镜头畸变效果；最后根据截图中物体的位置信息求得标注框的boundingbox参数。