[发明专利]基于RGB-D信息改进R-FCN网络的智能取件方法

权利要求书

1.基于RGB-D信息改进R-FCN网络的智能取件方法，其特征在于：具体包括以下步骤：

步骤一、人脸与单号定位检测

使用相机拍摄签收区域的图像，得到大尺度的深度图像和RGB图像，通过以下步骤提取大尺度图像中的人脸区域与面单纸区域，用于后续的人脸识别与单号匹配；

s1.1、将拍摄得到的深度图像下采样M倍后输入VASP网络中进行深度图像的特征提取，其中VASP网络的结构为将现有VGG网络特征提取部分的层数降低一半，然后将卷积层替换为ASPP卷积组；在VASP网络结构后面连接一个全连接层，进行目标粗分类，得到人脸与面单纸的大致区域；

s1.2、将步骤1.1提取得到的深度图像特征输入SegNet的解码网络部分，对深度图像特征进行上采样，对输出的结果进行像素级别的分类，将输出结果分成前景、中景以及背景，保留前景与中景部分的深度图像特征；

s1.3、将步骤1.2得到的前景与中景部分的深度图像特征与拍摄得到的RGB图像相与，得到无背景的RGB图像，然后无背景的RGB图像输入VGG网络中，进行RGB图像的特征提取；

s1.4、将步骤1.1中目标粗分类的结果映射到步骤1.3提取的RGB图像特征中，得到候选区域；

s1.5、将步骤1.4得到的候选区域输入PSROI网络中，得到人脸区域和面单纸区域；

步骤二、人脸身份识别

根据步骤一定位得到的人脸区域图像中的深度信息，进行目标取件人判断、活体检测以及人脸身份识别，具体包括以下步骤：

s2.1、根据步骤一定位得到存在多个人脸的区域，对每个区域获取到对应的深度图中的深度距离信息，对每个人脸区域的距离信息进行滤波获取平均距离，比较不同人脸区域的距离信息，将距离最近的人脸区域作为目标取件人的人脸区域，判断出目标取件人位置；

s2.2、统计步骤2.1中得到的目标取件人的人脸区域的深度信息，输入训练好的支持向量机算法中，进行活体检测；若目标取件人为活体，进入人脸身份识别，若目标取件人非活体，则发出警报；

s2.3、使用基于特征脸的PCA降维人脸识别算法获取步骤2.2中被判断为活体的目标收件人的人脸特征，与数据库中收集的人脸信息进行比对，识别目标取件人身份；

步骤三、快递单号匹配

识别步骤一定位的面单纸上的快递单号，匹配数据库中的收件人；

s3.1、对步骤一定位到的面单纸区域图像进行仿射变换；

s3.2、对步骤3.1仿射变换后的面单纸ROI区域进行快递单号OCR识别；

s3.3、在数据库中搜索步骤3.2识别得到的快递单号的收件人信息；

步骤四、人脸与快递单号匹配

将步骤二识别的目标收取件人身份与步骤三通过快递单号匹配到的收件人信息进行对比，若二者信息相同，则提示成功取件，打开闸机；若二者信息不同则提示信息不匹配。

2.如权利要求1所述基于RGB-D信息改进R-FCN网络的智能取件方法，其特征在于：步骤1.1中对深度图像进行下采样的倍数为2、4、8或16。

3.如权利要求1所述基于RGB-D信息改进R-FCN网络的智能取件方法，其特征在于：所述支持向量机算法的训练方法为人工采集N个活体人脸和非活体人脸的数据样本，所述数据样本指人脸区域的深度图；根据深度图中的距离信息计算出相对距离并进行归一化，根据归一化后的数据估计每个数据样本中人脸区域的分布信息，将这些分布信息输入SVM分类算法进行分类训练。