[发明专利]基于深度图像的数据增强方法

说明书

本发明提出了一种基于深度图像的数据增强方法，适用于计算机视觉领域，基于深度图像的识别、目标检测、行为识别等算法。本发明公开了一种基于深度图像的数据增强方法，主要由像素坐标转换三维点云、三维点云空间变换、三维点云转换像素坐标、最小值滤波处理部分组成。像素坐标系转换三维点云是通过像素坐标系、图像坐标系、相机坐标系、世界坐标系之间的转换关系，将深度图像中的平面像素坐标点转换到世界坐标系下的三维空间点云。三维点云空间变换，是将深度图像转换到三维空间点云后，对三维空间点云做随机平移变换与随机旋转变换，形成新的三维空间点云。通过世界坐标系到像素坐标系之间的转换关系，将新生成的三维空间点云投影到深度图像中。经由最小值滤波处理后，得到数据增强后的新深度图像。这种数据增强方法，为计算机视觉邻域中，基于深度图像的研究提供了一种数据扩种的方法。该方法能够使网络模型的泛化能力得到极大提升。

技术领域：

本发明提出了一种基于深度图像的数据增强方法，适用于计算机视觉领域，基于深度图像的识别、目标检测、行为识别等算法。

背景技术：

近些年来，深度学习在计算机视觉领域内应用的越来越广泛。深度学习在面对计算机视觉领域内的诸多问题的优异表现使得越来越多的研究人员开始涉足这个研究方向。深度学习之所以能有如此优异的表现，是因为深度卷积网络自身拥有强大的表达能力，可以根据训练目标来训练出所需要的模型结果。不过也正因为如此，网络模型本身需要大量甚至海量的数据来驱动模型训练，否则可能会使模型陷入过拟合的困境。可是在实际的情况中，并不是所有的数据集都拥有海量的训练样本。正因如此，在实际的训练过程中，数据增强成为了模型训练的重要一步。有效的数据扩充不仅能扩充训练样本数量，还能增加样本训练的多样性。一方面能避免模型过拟合，另一方面又能提升模型的性能。常见的图像数据增强方法有：水平翻转、随机旋转、随机缩放、随机裁剪、随机平移等。这些常见的图像数据增强方法面都是应用在RGB图像领域中，对于其他类型的图像，这些方法并不适用。

随着近几年双目相机的发展，双目相机的成本越来越低，由双目相机所采集的深度图像被越来越多的研究者应用在计算机视觉领域里。例如：人体骨骼关键点检测、人体行为识别、手势识别等领域。但是应用在RGB图像领域里的常见数据增强方法，在深度图像中并不适用。由于深度图像的每个像素点所存储的值是该位置到相机的深度距离，直接使用RGB图像中的数据增强方法会使得图片发生畸变。针对此问题，本发明提出了一种基于深度图像的数据增强方法，该方法根据深度图的成像原理，通过图像坐标系到世界坐标系之间的变换关系，将图像中的像素点转换到三维空间下形成三维点云，再以世界坐标为中心，对三维点云做出相应的位姿变换，变换后通过世界坐标到图像坐标的转换关系将空间三维点云转换到像素点，形成一张新的图像。另外，本文提出运用最小值滤波的平滑方法去除深度图像中的噪点，以及填补在深度图像变换后所产生的空白点。本发明的深度图像数据增强方法能提高网络模型的泛化能力与准确性。

发明内容：

本专利的发明旨在为深度图像在视觉计算机领域里的深度学习方向提供一种数据增强方法，该方法可以在网络模型训练中，对深度图像进行数据增强，来提升训练模型的泛化能力与准确性。

本发明主要采用如下方案：