[发明专利]一种基于电视摄像头的人脸图像分辨率增强方法

说明书

本发明公开了一种基于电视摄像头的人脸图像分辨率增强方法，其基本流程为：在摄像头存在人脸，并且环境光较暗或者人脸到摄像头的距离小于设定好的阈值时，则开启人脸分辨率增强模式；在进入人脸分辨率增强模式中，首先是对识别到的人脸进行裁剪，对只包含人脸的图像使用Tenengrad梯度方法对图像质量检测进行评价，将梯度值β小于一定阈值的图像定义为模糊图像，该图像作为超分辨率网络的输入，经过网络推理，将差异图像与低分辨率图像进行合并，生成满足要求的高分辨率图像。该方法兼顾了准确性与实时性，为低质量图像的识别奠定了基础，保证后续算法的精度。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于电视摄像头的人脸图像分辨率增强方法。

背景技术

近几年，随着人工智能的不断发展，越来越多的传统行业在人工智能加持下，实现了新的产业增长点。目前，对于电视机，人们已经不满足于只是简单的收看电视节目这一传统功能，而是希望其更加智能化。机器视觉与传统电视机的结合，拓展了人机相互方式，提升用户体验。

目前，市场上搭载摄像头的电视机实现的主流功能为摄像、拍照、人脸识别以及视频通话等功能。而这一切依赖于高质量的图像输入。现实采集的图像中，经常存在由于光线不足、距离较远等原因造成模糊的图像。现有的图像增强方法中，通常采用的是直接对低分辨率图像进行插值处理，通过替换像素的方法，或者采用GAN网络生成图像，这两种方法，前者方法简单，但是插值的方法对细节较为丰富的人脸图像极易导致锯齿现象，增强效果较差；后者是对整张图像进行处理，导致网络参数繁多，模型推理速度慢。

发明内容

为了解决上述技术问题，本发明提供了一种基于电视摄像头的人脸图像分辨率增强方法，该方法对高分辨率与低分辨率图像间的差异进行训练，将该差异与低分辨率的原始图像组合，生成最终的高分辨人脸图像。并且在有限的计算资源下，尽可能的提升算法处理效率，满足项目准确性、实时性的要求。

为了达到上述技术效果，本发明采用了如下技术方案：

一种基于电视摄像头的人脸图像分辨率增强方法，包括以下步骤：

(1)判断是否需要开始人脸分辨率增强模式：在存在人脸的画面中，当环境光的光照强度lx50或者人脸到摄像头的距离l280cm时，则开启人脸分辨率增强模式；

(2)人脸图像识别；

(3)人脸图像标准化；

(4)人脸画质评价；采用Tenengrad梯度方法对人脸进行清晰度评价，将梯度值g10.0的人脸图像定义为模糊图像；

(5)超分辨率增强处理；将模糊图像作为超分辨率网络的输入，经过网络推理，将差异图像与低分辨率图像进行合并，生成满足要求的高分辨率图像。

进一步的技术方案为，所述步骤(2)具体为采用第三方人脸识别技术，得到人脸包围框的坐标，根据坐标将人脸图像裁剪出来。

进一步的技术方案为，步骤(3)具体为将步骤(2)中裁剪到的人脸区域统一缩放为标准尺寸图像输入。

进一步的技术方案为，所述标准尺寸为96*96px。

进一步的技术方案为，所述步骤(4)具体为采用Tenengrad梯度方法对检测到的人脸进行清晰度评价，Tenengrad梯度方法利用Sobel算子分别计算水平和垂直方向的梯度，梯度值越高，图像越清晰，将梯度值g10.0的人脸图像定义为需要分辨率增强处理的模糊图像。

进一步的技术方案为，所述步骤(5)中超分辨率网络为深度卷积神经网络，该网络的训练过程如下：

A、收集整理10000张清晰人脸图像作为样本标签，人为对其进行模糊处理，作为训练样本，并统一设置成96*96*3px的图像大小；