[发明专利]基于域迁移融合网络的多摄像头人脸超分辨率方法及系统

说明书

本发明提供一种基于域迁移融合网络的多摄像头人脸超分辨率方法及系统，将原始真实监控数据集中的人脸图像进行预处理，构建身份对齐图像数据集；构建多摄像头人脸融合超分辨率网络，包括特征配准模块、特征融合模块和权重调节模块；构建基于域迁移融合网络的多摄像头人脸超分辨率网络，利用域迁移架构进行无监督训练；利用训练后的网络模型，输入两张不同模态的低分辨率人脸图像，重建高清人脸。本发明利用多摄像头人脸之间的互补性，既增强了人脸图像主观视觉效果，又保留了人脸输入的身份信息；采用伪孪生结构，充分利用了不同模态摄像头间的信息互补性；采用域迁移架构以适应真实场景，使得超分辨率重建人脸图像质量更佳。

技术领域

本发明属于数字图像技术领域，涉及一种智能人脸超分辨率方案，具体涉及一种基于域迁移融合网络的多摄像头人脸超分辨率方案。

背景技术

近年来随着监控摄像设备的多元化，应用日益广泛，例如刑侦人员在视频侦查过程中会获取到嫌疑人的多摄像头异质人脸图像，即不同类型摄像头，比如可见光和红外摄像头在不同环境条件下拍摄的同一对象非连续多帧人脸图像。与传统的同质多帧人脸图像相比，多摄像头多帧人脸图像之间存在两方面问题：(1)降质过程不一致：不同摄像头类型、不同拍摄环境会导致拍摄图像的降质过程不同；(2)时域相关性缺失：不同时间拍摄的图像之间不具有连续的运动轨迹和姿态变化，不具有时域上的相关性。现有多帧人脸超分辨率方法假设输入的多帧图像之间既具有一致的降质过程，也具有时域相关性，不适用于多摄像头人脸超分辨率。

基于深度卷积神经网络(CNN)的图像超分辨率方法在近几年取得了迅速发展。2020年， FuzhiYang等人([文献1])提出了一种用于基于参考帧的图像超分辨率新型纹理变换器网络。 2021年，YumingJiang等人([文献2])利用一个教师-学徒训练策略，显式提取并匹配参考图像和低质量图像的参考帧超分辨率方法。2022年，提出一个先清除降质再进行超分的两段式盲视频多帧超分方法。

现有多帧图像的超分辨率方法主要针对于视频多帧图像超分辨率和基于参考帧的图像超分辨率，没有考虑到多摄像头图像超分辨率所面临的降质过程不一致和时域相关性缺失的问题。

[文献1]Ahn,N.,Kang,B.,and Sohn,K.-A.:‘Fast,accurate,and lightweightsuper-resolution with cascading residual network’,in Editor(Ed.)^(Eds.):‘BookFast,accurate,and lightweight super-resolution with cascading residualnetwork’(2018,edn.),pp.252-268.

[文献2]Hui,Z.,Gao,X.,Yang,Y.,and Wang,X.:‘Lightweight image super-resolution with information multi-distillation network’,in Editor(Ed.)^(Eds.):‘Book Lightweight image super-resolution with information multi-distillation network’(2019,edn.),pp.2024-2032.

[文献3]Kelvin C.K.Chan,Shangchen Zhou,Xiangyu Xu,and Chen ChangeLoy.Investigating tradeoffs in real-world video super-resolution.In IEEEConference on Computer Vision and Pattern Recognition,2022.

发明内容

为了解决上述技术问题，本发明提供了一种基于域迁移融合网络的多摄像头人脸超分辨率方案。

本发明所采用的技术方案是一种基于域迁移融合网络的多摄像头人脸超分辨率方法，包括以下步骤：