[发明专利]一种基于三维模型的图像数据集生成方法

说明书

本发明涉及计算机视觉，计算机图形学和图像处理领域，特别是一种基于三维模型的图像数据集生成方法。本发明方法通过三维模型分别向模拟相机和模拟投影仪投影，模拟出相机采集到的纹理图像和投影仪投影的结构光图像；通过坐标的对应关系将结构光编码信息叠加到纹理图上，得到含有结构光的纹理图；根据坐标对应关系得到相机采集图像上点所对应的投影坐标系的坐标，得到视差图。本发明通过模拟相机和投影仪的方法，利用三维模型生成对应的深度图、纹理图、投影结构光、结构光纹理图、匹配点坐标和匹配视差图，控制改变其中的参数可以产生多组对应数据，极大丰富了数据集内容。

技术领域

本发明涉及计算机视觉，计算机图形学和图像处理领域，特别是一种基于三维模型的图像数据集生成方法。

背景技术

近年来，深度感知技术在AR/VR、机器人、无人机、无人车等领域有着广泛应用，解决了很多问题，比如：非刚性重建、动作识别、目标跟踪等。目前实现方案主要有TOF(飞行时间法)、结构光、立体视觉等方法，其中结构光技术是当前主流的、应用最广泛的深度感知方案。

结构光方法是基于三角测量的原理，在投影仪、相机和被测物体之间构成三角形，通过向物体表面投射特定模式的编码图案，来完成投影仪与相机(单目方案)，或相机与相机(双目方案)之间的像素匹配关系，进一步根据三角关系计算出深度信息。结构光主要有线结构光、正弦结构光、散斑结构光、伪随机编码等编码方法。

深度学习的出现，使得结构光数据处理不在限于传统的图像处理和解析计算方法就能得到深度信息或者视差信息。但是深度学习需要大量的数据做为训练样本，但采集大量的结构光图像是非常耗时，而且需要硬件设备的支持。

发明内容

本发明的目的在于提供一种基于三维模型的图像数据集生成方法，该方法利用已有的3D模型，模拟生成不同结构光的数据集，解决结构光数据集采集的困难，为深度学习提供了一种便捷的数据集获取方法。

本发明的实现过程如下：

一种基于三维模型的图像数据集生成方法，包括如下步骤：

(1)通过三维模型分别向模拟相机和模拟投影仪投影，模拟出相机采集到的纹理图像和投影仪投影的结构光图像；

(2)通过坐标的对应关系将结构光图像的编码信息叠加到纹理图像上，得到含有结构光的纹理图像；

(3)根据三维模型与模拟相机和模拟投影仪的对应关系，得到含有结构光纹理图像与模拟投影仪的结构光图像的匹配点对，从而得到匹配点坐标，进而得到视差图；

(4)通过改变步骤(1)、步骤(2)、步骤(3)中的参数产生多组对应数据，生成图像数据集。

进一步，所述步骤(1)具体包括如下步骤：

(a)获取三维模型；

(b)模拟相机的设置；

(c)三维模型向模拟相机投影，模拟出相机采集到的纹理图像；

(d)模拟投影仪的设置；

(e)三维模型向模拟投影仪投影，模拟出投影仪投影的结构光图像。

进一步，所述步骤(a)获取三维模型的方法包括三维扫描仪、深度感知设备、三坐标测量机、人工建模；所述步骤(a)获取的三维模型中的纹理信息为灰度信息或彩色信息；步骤(b)所述模拟相机为一个或多个；步骤(d)所述模拟投影仪为一个或多个。

进一步，所述步骤(b)的具体过程为：

第一步，将三维模型的坐标系原点设置在三维模型的重心处：