[发明专利]一种基于tof相机软分割的人像头部背景虚化方法

权利要求书

1.一种基于tof相机软分割的人像头部背景虚化方法，其特征在于，包括以下步骤：

步骤S1：分析人像头部噪声，利用tof相机对所述人像头发部分进行连续实验分析，最后得出所述人像头发部分在tof相机下的噪声特征；

步骤S2：提取tof相机下的基于深度学习的语义信息，采集人像不同角度的照片，使用手工标注的方式对人像头部进行分割，每张照片包括tof深度信息，将RGBD信息输入神经网络，并输出为头发遮蔽层信息；

在对所述神经网络训练后，把所述神经网络的编码器中的第二层和解码器部分的倒数第二层提出，合并为语义信息；

利用度量学习对所述神经网络进行二次学习，使得属于同类的语义信息更加接近，不同类的语义信息距离更加远，最终得到多维语义信息；

步骤S3：基于tof相机下的头部软分割，构建整张图片的拉普拉斯矩阵，融合图片的低维特征信息、高维图片语义信息以及tof相机的噪声信息，在求解头发软分割参数，最后结合tof相机获取面部以及身体信息，得到最终软分割结果，即人像中每一个像素的软分割权重；

步骤S4：利用所述软分割权重和tof参数的高斯卷积对整张照片卷积处理，实现人像背景的虚化。

2.如权利要求1所述的基于tof相机软分割的人像头部背景虚化方法，其特征在于，所述噪声特征的提取需要对每一个像素点的噪声特征进行提取，所述每一个像素点的噪声特征通过4维特征向量体现，所述4维特征向量为：

其中，V为8*8核下的方差信息。

3.如权利要求1所述的基于tof相机软分割的人像头部背景虚化方法，其特征在于，所述神经网络中的噪声检测模块是通过利用所述神经网络两层之间相减实现的。

4.如权利要求2所述的基于tof相机软分割的人像头部背景虚化方法，其特征在于，所述步骤S3基于tof相机下的头部软分割，还包括以下步骤：

步骤S3-1、获得低维度图片特征信息：

对所述人像照片进行超像素的分割，得到多个超像素值，对每一个超像素求得超像素平均值，然后获取低维度图片特征信息，即颜色矩阵；

步骤S3-2、获得高维度语义信息：

利用训练好的特征提取神经网络，对所述人像照片的每一个像素值映射为一个15维的语义信息，最后求得语义权重矩阵；

步骤S3-3、获得tof噪声信息：

对所述人像照片进行噪声特征提取，提取后，每一个像素值都可以被映射为一个所述4维的特征向量，最后求得噪声权重矩阵；

步骤S3-4、获得优化矩阵和优化方程：

联合以上所述颜色矩阵、语义权重矩阵、噪声权重矩阵，以及所述软分割基础矩阵，得到最终优化矩阵形式，再联合多种约束，得到最终的优化方程。

5.如权利要求4所述的基于tof相机软分割的人像头部背景虚化方法，其特征在于，所述图片颜色矩阵为：

其中，Cs和Ct为两个超像素值的颜色平均，a和b均为可调节参数，erf为高斯距离方差。

6.如权利要求5所述的基于tof相机软分割的人像头部背景虚化方法，其特征在于，所述语义权重矩阵为：

其中，f为神经网络提取的15维度信息，a和b为可调节参数。

7.如权利要求6所述的基于tof相机软分割的人像头部背景虚化方法，其特征在于，所述噪声权重矩阵：

其中，g为四维噪声权重信息，a和b为可调节参数。

8.如权利要求7所述的基于tof相机软分割的人像头部背景虚化方法，其特征在于，所述优化矩阵为：

所述优化方程为：

E＝E_L+E_S+λE_C

其中，El代表软分割基本方程；

Ec代表又有预测透明度的权重之和为1；

Es代表每一个透明度很大概率接近1或者0。