[发明专利]一种图像反射分离方法及装置

说明书

本发明公开了一种图像反射分离方法及装置，方法包括：将同一视点场景的图像组输入已训练的参数预测网络，由参数预测网络基于该图像组预测得到玻璃几何参数，该图像组由一帧偏振图像和一帧非偏振图像组成或者由两帧偏振角度不同的偏振图像组成；利用玻璃几何参数确定该图像组中每帧图像上各像素点的混合系数；依据每帧图像上各像素点的混合系数和该图像组分离出反射图像和背景图像。通过将输入图像减少到两帧图像，减小了数据获取的难度，能够在手机相机、监控设备等设备中部署，扩大了算法应用范围。本方案充分利用了光的偏振特性，由预测得到的玻璃几何参数进行逐像素计算以实现图像的反射分离，可提升输出背景图像和反射图像的质量。

技术领域

本发明涉及图像处理技术领域，具体涉及一种图像反射分离方法及装置。

背景技术

在拍照时，反射干扰是一种常见的现象，如透过玻璃拍照时，拍照者会得到一张带有反射的图像。对于反射干扰，会使图像质量下降，并且还会影响更高层语义层面任务(如人脸识别、目标检测等任务)的处理，因此，在进行任务前需要对图像进行反射分离处理。

在现有技术中，通过在相机加装偏振片，以在同一视点条件下捕捉三个不同偏振角度的偏振图像，然后利用三张偏振图像提取偏振光的正交分量，通过遍历入射角的所有取值，利用每一入射角在正交方向上的分量计算每一入射角对应的背景图像和反射图像，最后计算每组背景图像与反射图像的互信息，并选取互信息最小的一组背景图像和反射图像输出。

然而，上述实现需要输入三张不同偏振角度的偏振图像，对拍摄设备及相关条件控制要求较高，拍摄难度大，实用性不高。

发明内容

本发明的目的是针对上述现有技术的不足提出的一种图像反射分离方法及装置，该目的是通过以下技术方案实现的。

本发明的第一方面提出了一种图像反射分离方法，所述方法包括：

将同一视点场景的图像组输入已训练的参数预测网络，以由所述参数预测网络基于该图像组预测得到玻璃几何参数；

利用所述玻璃几何参数确定该图像组中每帧图像上各像素点的混合系数；

依据每帧图像上各像素点的混合系数和该图像组分离出反射图像和背景图像；

其中，该图像组由一帧偏振图像和一帧非偏振图像组成，或者由两帧偏振角度不同的偏振图像组成。

本发明的第二方面提出了一种图像反射分离装置，所述装置包括：

参数预测模块，用于将同一视点场景的图像组输入已训练的参数预测网络，以由所述参数预测网络基于该图像组预测得到玻璃几何参数；

混合系数确定模块，用于利用所述玻璃几何参数确定该图像组中每帧图像上各像素点的混合系数；

分离模块，用于依据每帧图像上各像素点的混合系数和该图像组分离出反射图像和背景图像；

其中，该图像组由一帧偏振图像和一帧非偏振图像组成，或者由两帧偏振角度不同的偏振图像组成。

在本发明实施例中，通过将同一视点场景的图像组输入已训练的参数预测网络，以由参数预测网络基于该图像组预测得到玻璃几何参数，然后利用玻璃几何参数确定该图像组中每帧图像上各像素点的混合系数，并依据每帧图像上各像素点的混合系数和该图像组分离出反射图像和背景图像。其中，该图像组由一帧偏振图像和一帧非偏振图像组成，或者由两帧偏振角度不同的偏振图像组成。

基于上述描述可知，通过将输入图像减少到两帧图像，既可以是一对偏振与非偏振图像，也可以是一对偏振角度不同的图像，减小了数据获取的难度，能够在手机相机、监控设备等摄像设备中部署，扩大了算法应用范围。本方案充分利用了光的偏振特性，由预测得到的玻璃几何参数进行逐像素计算以实现图像的反射分离，可提升输出背景图像和反射图像的质量。

附图说明