[发明专利]基于域迁移融合网络的多摄像头人脸超分辨率方法及系统

权利要求书

1.一种基于域迁移融合网络的多摄像头人脸超分辨率方法，包括以下步骤：

步骤1，构建数据集，包括将原始真实监控数据集中的人脸图像进行预处理，构建训练域迁移融合网络所需的低质量人脸-高质量身份信息的身份对齐图像数据集；

步骤2，构建多摄像头人脸融合超分辨率网络，所述多摄像头人脸融合超分辨率网络包括特征配准模块、特征融合模块和权重调节模块，首先在特征配准模块根据预超分图像获取对应的五官位置掩膜并进行五官特征配准得到配准后的图像；其次，利用权重调节模块在两个配准特征间获取可信权重信息；最后根据进行特征配准后的人脸和可信权重，通过特征融合模块进行自适应融合，获得最终输出人脸；

步骤3，构建基于域迁移融合网络的多摄像头人脸超分辨率网络，该网络利用域迁移架构进行无监督训练，将真实监控人脸超分辨率至高清域，将两个域迁移架构组成伪孪生结构，并提出人脸特征识别损失，从损失函数层面上利用不同模态人脸间的身份相关性，嵌入步骤2所得多摄像头人脸融合超分网络，利用不同人脸间的特征相关性，进一步提升超分质量；

步骤4，采用训练数据集对基于域迁移融合网络的多摄像头人脸超分辨率网络进行训练，得到训练好的网络模型；

步骤5，利用训练后的网络模型，输入两张不同模态的低分辨率人脸图像，重建高清人脸。

2.根据权利要求1所述一种基于域迁移融合网络的多摄像头人脸超分辨率方法，其特征在于：所述特征配准模块由预超分子模块和人脸标点子模块组成，预超分子模块包括一个Unet卷积网络，人脸标点子模块采用四个StackedHourGlass网络块组成的堆叠沙漏网络实现。

3.根据权利要求1所述一种基于域迁移融合网络的多摄像头人脸超分辨率方法，其特征在于：所述权重调节模块包含全局融合权重分支和局部融合权重分支，全局合权重分支由两个3×3卷积网络块、一个全局池化层和两个1×1卷积网络块依次串联组成；局部融合权重分支由三个3×3卷积网络块和两个1×1卷积网络块串联组成；在最后将分别生成的全局融合权重和局部融合权重相加送入激活层得到最终的融合可信权重。

4.根据权利要求1所述一种基于域迁移融合网络的多摄像头人脸超分辨率方法，其特征在于：所述特征融合模块包括头尾两部分，头部首先分别对四组五官特征左眼、右眼、鼻子、嘴巴，利用三个不同大小卷积核的多尺度可变性卷积DeformmableConv对输入进行特征提取，并将输出的三组特征进行通道叠加，再送入一个可变形卷积块DeformBlock，最后对四组特征进行像素相加；尾部设置了一个共享网络权重的双分支特征融合网络，每个分支包含5个密集连接的融合块。