[发明专利]多阶特征循环增强的渐进高倍人脸超分辨率系统及其方法

说明书

本发明公开了一种多阶特征循环增强的渐进高倍人脸超分辨率系统及其方法，涉及图像复原技术领域。本系统是：低分辨率人脸图像（A）、初级特征提取与上采样模块（10）、多阶特征循环增强与上采样模块（20）、残差人脸生成模块（30）、加法器模块（50）和高分辨率人脸图像（B）依次交互；低分辨率人脸图像（A）、初始人脸超分辨率模块（40）和加法器模块（50）依次交互。本方法是：①初级特征提取与上采样；②多阶特征循环增强与上采样；③残差人脸生成；④初始人脸超分辨率；⑤高分辨人脸生成。本发明在更好提升高倍人脸超分辨率重构图像质量的同时，可得到系统复杂度的有效降低；适用于视频监控等应用。

技术领域

本发明涉及图像复原技术领域，尤其涉及一种多阶特征循环增强的渐进高倍人脸超分辨率系统及其方法；即是一种基于深度循环卷积网络，利用人脸结构先验与特征反馈增强的渐进高倍人脸图像超分辨率系统及其方法。

背景技术

人脸图像超分辨率也称为人脸幻象，旨在利用数值计算方法对低分辨率人脸图像进行高分辨率重建，其对有效解决低分辨率人脸图像分析与人脸识别问题具有重要意义。近年来，随着深度学习理论在图像分类识别领域的成功应用，基于深度网络的人脸图像超分辨率方法研究也得到广泛关注。【参见文献：[1]S.Zhu,S.Liu,C.C.Loy and X.Tang,Deep cascaded bi-network for face hallucination,Proc.Eur.Conf.Comput.Vis.(ECCV),pp.614-630,2016；[2]X.Xu,D.Sun,J.Pan,Y.Zhang,H.Pfister and M.-H.Yang,Learning to super-resolve blurry face and text images,Proc.IEEEInt.Conf.Comput.Vis.(ICCV),pp.251-260,Oct.2017；[3]N.Ahn,B.Kang and K.-A.Sohn,Fast accurate and lightweight super-resolution with cascadingresidual network,Proc.Eur.Conf.Comput.Vis.(ECCV),pp.252-268,Sep.2018】。

人脸超分辨率不完全同于一般自然图像的超分辨率。如何充分利用人脸图像独有的先验信息，对于提升人脸图像的超分辨率性能会产生重大的影响。虽然获取清晰人脸图像的先验信息可能是比较容易的，但是在图像分辨率低，图像较模糊时要得到人脸的重要先验信息，以用于改善超分辨率性能将会十分受限，特别对于高倍放大时显得更是具有很大的挑战性。【参见文献：[4]Y.Chen,Y.Tai,X.Liu,C.Shen,and J.Yang,“Fsrnet:End-to-end learning face super-resolution with facial priors,”in Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition,2018,pp.2492–2501；[5]K.Grm,W.J.Scheirer and V.Face Hallucination Using Cascaded Super-Resolution and Identity Priors,in IEEE Transactions on Image Processing,vol.29,pp.2150-2165,2020】。

发明内容

本发明的目的就在于克服上述背景技术的不足，提供一种多阶特征循环增强的渐进高倍人脸超分辨率系统及其方法。本发明是一种基于循环卷积网络，特征迭代增强与人脸结构先验融合的渐进高倍人脸图像超分辨率系统及其方法，通过引入反馈机制，对提取的深度人脸特征和人脸结构特征进行迭代增强，有效改善了低分辨率人脸图像的高倍放大图像质量。

本发明的目的是这样实现的：

本发明的技术思路是：