[发明专利]一种多视图身份识别方法

权利要求书

1.一种多视图身份识别方法，其特征在于，包括以下步骤：

对输入图片采用一体化的检测网络进行人脸、人体、上半身检测，检测网络基于anchor-free的检测框架，共享同一热力图，同时回归人脸坐标、人体坐标、上半身坐标；

依据坐标信息，对人脸、人体、上半身分别进行预处理，先检测人脸的关键点，并根据关键点进行人脸对齐，再将人体和上半身通过缩放至统一大小实现上半身对齐和人体对齐，形成新的输入图片；

将新的输入图片切成固定大小的小块并进行序列化，生成人脸视图、上半身视图和人体视图，采用多模态融合特征提取网络完成特征提取，多模态融合特征提取网络的输出作为特征，最后进行特征比对完成身份识别。

2.根据权利要求1所述的一种多视图身份识别方法，其特征在于，所述检测网络主干网络采用深度全卷积神经网络，训练过程的热力图采用二分类损失函数监督，热力图表示目标的中心。

3.根据权利要求2所述的一种多视图身份识别方法，其特征在于，所述检测网络还包括三个分支，分别学习人脸坐标、人体坐标和上半身坐标，训练过程人脸、人体、上半身的坐标采用L1损失函数监督。

4.根据权利要求1所述的一种多视图身份识别方法，其特征在于，所述人脸关键点的检测通过检测两眼中心、鼻尖、两嘴角五个关键点，利用这五个关键点做仿射变换以对齐人脸。

5.根据权利要求1所述的一种多视图身份识别方法，其特征在于，所述多模态融合特征提取网络基于transformer实现，人脸视图、上半身视图和人体视图的每一种视图都连接一个ViT网络，上半身视图与人脸视图、人体视图均共同连接有一个跨模态的ViT网络，ViT网络和跨模态的ViT网络输出的特征输入至tranformer进行特征融合，最后只需要计算tranformer的输出作为特征。