[发明专利]基于角度估计的人脸步态多模态加权融合身份识别方法与系统

说明书

本发明公开了一种基于角度估计的人脸步态多模态加权融合身份识别方法与系统，所述方法包括：采集人脸RGB图像及行人步态图像序列；在包含人脸的图像数据中定位出人脸位置并裁剪，同时进行人脸关键点检测；利用人脸关键点坐标集对人脸角度进行估计；判断人脸图像质量，对符合质量的人脸图像进行特征提取，对不符合质量的图像进行筛除；将质量符合的人脸图像输入至深度卷积神经网络中进行特征提取；将采集到的行人步态序列图像进行行人实例分割，分割出行人轮廓掩膜，得到对应目标的步态轮廓图；通过质量估计模块估计步态轮廓质量，并对质量较低的轮廓图进行图像补全；对符合质量步态轮廓图序列及补全后的步态轮廓图序列进行特征提取；基于人脸角度估计进行多模态加权融合。

技术领域

本发明涉及基于计算机视觉技术的身份识别技术领域，尤其涉及一种基于角度估计的人脸步态多模态加权融合身份识别方法与系统。

背景技术

目前，基于人脸图像进行身份识别技术已较广泛应用于各行业的身份认证和识别。但由于人脸识别涉及人脸图像敏感信息，且受限于近距离、角度偏转、光照、局部遮挡等因素，在监控场景下的身份识别系统的性能受到严重影响。为此有研究开发步态识别系统，利用人的行走姿态作为身份信息进行中远距离的身份识别。

此外，将人脸步态两种模态融合的身份识别系统，如专利CN 206224519 U，“基于动态人脸识别和步态识别融合的智能身份识别系统”，采集动态的人脸图像序列和步态视频图像序列，分别提取人脸和步态特征与各模态数据库内的特征进行匹配，而最终识别结果是两种模态独立判定，没有结合两种模态的特点及使用场景进行融合以提升系统识别性能。

发明内容

为解决上述技术问题，本发明的目的是提供一种基于角度估计的人脸步态多模态加权融合身份识别方法与系统，该方法与系统利用人脸角度估计判断目标偏转角度，自适应对人脸和步态两种模态特征进行加权匹配，提升监控场景中多模态身份识别系统的识别准确率。

本发明的目的通过以下的技术方案来实现：

一种基于角度估计的人脸步态多模态加权融合身份识别方法，包括

S1采集人脸RGB图像及行人步态图像序列；

S2在包含人脸的图像数据中定位出人脸位置并裁剪，同时进行人脸关键点检测；

S3利用人脸关键点坐标集对人脸角度进行估计；

S4判断人脸图像质量，对符合质量的人脸图像进行特征提取，对不符合质量的图像进行筛除；

S5将质量符合的人脸图像输入至深度卷积神经网络中进行特征提取；

S6将采集到的行人步态序列图像进行行人实例分割，分割出行人轮廓掩膜，得到对应目标的步态轮廓图；

S7通过质量估计模块估计步态轮廓质量，并对质量较低的轮廓图进行图像补全；

S8对符合质量步态轮廓图序列及补全后的步态轮廓图序列进行特征提取；

S9基于人脸角度估计进行多模态加权融合。

一种基于角度估计的人脸步态多模态加权融合身份识别系统，包括

人脸模块，用于对采集图像进行人脸检测并裁剪人脸图，将人脸图像输入至人脸质量估计模块筛选出质量达标的待识别图像，利用深度神经网络提取的人脸特征与人脸特征数据库进行匹配，得到人脸身份分数；

步态模块，用于对采集的行人图像序列，进行行人实例分割得到步态轮廓图，输入至步态轮廓质量估计模块，对符合质量要求的步态轮廓序列图进行步态特征提取，并与步态数据库中的步态特征进行匹配得到步态身份分数，对质量不满足的步态轮廓图则是利用图像处理进行补全后进行身份识别；