[发明专利]基于TOF相机的头发分割方法

说明书

基于TOF相机的头发分割方法，包括：基于头发彩色图及其掩膜的数据集，建立深度学习网络；利用TOF相机得到深度图，并获取方差图；对深度学习得到的初步头发掩膜进行优化，得到优化后的头发掩膜；利用方差图对优化后的头发掩膜做再次优化，得到最终的精确头发掩膜。本发明巧妙地反向利用飞行时间在头发上产生一定程度噪声的这一特性，实现对毛发的更高精度分割。

技术领域

本发明涉及三维图像领域，具体地说是一种反向利用噪声的基于TOF相机的头发分割方法。

背景技术

目前，对于头发分割方法都不是很鲁棒，主要是由于基于RGB图像的分割方法受到光照以及背景的影响非常剧烈，传统基于图像的分割方法并不能很好地完成这个任务，特别是针对高清图像的头发分割一直以来是一个非常困难的问题。

随着人工智能时代的到来，人们开始尝试使用深度学习的方法来对头发进行分割。但是一个非常显而易见的问题是，目前对于头发的数据集少之又少。主要原因是不同人的头发千变万化，而且边界非常不光滑，这样对数据标注产生了非常大的困难。在数据集标注非常艰难而且不精确的前提下，简单利用深度学习的方法并不能非常好地实现对头发的分割。

TOF(Timeofflight)相机的工作原理是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行往返时间来得到目标的距离，从而最终得到整幅图像的深度信息。然而，如果利用TOF相机直接拍摄头部毛发，会发现得到的深度图像会有很多噪声，其主要原因在于毛发从一个方向看上去深度不一致导致光脉冲返回的时间不完全相同。头发越是参差不齐，得到的深度图噪声就越严重；在一般情况下，头发部分得到的深度图的噪声要远远大于面部以及背景部分。

一般情况下，用TOF相机拍摄头发部分会得到很大一部分噪声。噪声意味着深度图像的变换不连续、边缘不清晰，是一个十分有害的东西。但是在我们这种情况下，仅仅拍摄头部所得到的噪声边缘十分锋利，但是头发部分的深度的高低起伏十分明显。故可以反向利用这种看似有害处、需要做平滑处理的噪声信息，通过噪声来确定头发的大概位置概率。

发明内容

本发明为解决现有的问题，旨在提供一种基于TOF相机的头发分割方法。

为了达到上述目的，本发明采用的技术方案包括：包括：

步骤一，基于头发彩色图及其掩膜的数据集，建立深度学习网络；

步骤二，利用TOF相机得到深度图，并获取对应的方差图；

步骤三，对深度学习得到的初步头发掩膜进行优化，得到优化后的头发掩膜；步骤四，利用方差图对优化后的头发掩膜做再次优化，得到最终的精确头发掩膜。

步骤一中，对数据集中的头发加入噪声、改变亮度饱和度，得到训练数据；然后构建编码-解码的深度学习网络，结合图像的梯度信息，训练训练拟合，最终得到较为精确的头发分割结果。

步骤二中，对于每一个像素点，都有一个以这个像素点为中心的小块设置一个阈值，对于小块中像素点与中心像素点的差值在阈值范围以内的像素点求取方差，最终得到方差图，公式如下：

对于所有|d_i-d_center|＜threshold，其中n是d_i的数量。

步骤三中，利用像素点之间的距离信息、颜色信息以及方差信息，结合利用DenseCRF模型的方法对初步头发掩膜进行优化，得到优化后的头发掩膜：

和现有技术相比，本发明巧妙地反向利用飞行时间在头发上产生一定程度噪声的这一特性，结合方差图对头发掩膜进行两次优化，实现了对毛发的更高精度分割；利用像素点之间的距离信息、颜色信息以及方差信息来对头发的掩膜做优化，得到掩膜的质量较高。

附图说明