[发明专利]对卷积神经网络和序特征编码联合优化的虹膜识别方法

权利要求书

1.一种对卷积神经网络和序特征编码联合优化的虹膜识别方法，其特征在于，包括以下步骤：

步骤S1、虹膜图像预处理；

对原始人眼图像进行虹膜区域检测，即对原图像中包含虹膜的最小区域进行定位，将该区域中的圆环状虹膜图像进行分割和展开预处理操作，设置展开后的虹膜图像大小为256×256像素，后续模型训练和算法测试都在此展开图像上进行；

步骤S2、基于卷积神经网络进行图像特征提取；

建立卷积神经网络，卷积神经网络的主干架构在残差网络的基础上设计产生，同时引入空洞卷积；将该卷积神经网络视作一个特征提取网络，用其对输入图像提取特征；取特征提取网络最后一层卷积层的输出作为虹膜图像的局部纹理特征，用于后续步骤计算；

步骤S3、基于序特征比较模块进行图像特征编码；

将序特征比较模块接到S2步骤设计的卷积神经网络后，形成一个完整的虹膜特征提取与编码的系统；

所述的序特征比较模块通过建立一个包含三层操作的模块实现，并将该模块命名为FeatOM；FeatOM模块内的三层操作依次为局部特征聚合层、区域特征比较层以及近似序编码层；局部特征聚合层对图像特征进行均值池化操作，得到的新特征的每个像素值为原特征的一个小区域的像素平均值，即新特征的每个值反映原始特征的一个小区域的特征的情况；序特征比较模块是指对不同区域特征之间的大小关系的定性比较，其公式化的表述为：

其中，d表示通道数；z表示像素位置；Δz表示两个像素之间的位移；Ω(z)表示一个特征区域；Ω(z+Δz)表示一个与Ω(z)的位置偏移Δz的特征区域；t表示属于区域Ω(z)的像素；t'表示属于区域Ω(z+Δz)的像素；f(t)表示卷积特征图上位置t处的数值；f(t')表示卷积特征图上位置t'处的数值；H()表示阶跃函数；b_i(z)表示第i个通道上位置z处序编码的值；

(1)局部特征聚合层：局部特征聚合层对应公式(1)中对局部特征求和的过程，采用等价的均值池化层完成；局部特征聚合层主要是对局部特征进行聚合，同时将超参数Ω(z)设定为8×2可以弥补将虹膜纹理展开成方形图像时导致虹膜在径向的拉伸形变；

(2)区域特征比较层：区域特征比较层的运算是各通道独立进行；前向传播中位置(i,j)的输出y_i.j.d＝x_i,j,d-x_{i+Δw,j+Δh,d}，同时忽略超出边界的部分，根据链式法则相应的反向传播公式为：

其中，l表示经过卷积神经网络和序特征比较模块最终计算得到的损失函数；i表示特征图的第i行，j表示特征图的第j列；d表示特征图的第d通道；Δw表示特征图上行维度的偏移量；Δh表示特征图上列维度的偏移量；x_i,i,d表示输入特征图第d通道位置(i,j)处的像素值；x_{i+Δw,j+Δh,d}表示输入特征图上第d通道位置(i+Δw,j+Δh)的像素值；y_i,j,d表示输出特征图上第d通道位置(i,j)处的像素值；

将两组梯度重叠区域相加即可得对第d通道输入x_d的梯度

(3)近似序编码层：由于阶跃函数不能进行反向传播，所以在近似序编码层构建可导的近似的阶跃函数对相邻像素的大小关系进行编码，即近似序编码层采用阶跃函数的近似函数对上一层输出进行逐元素的二值编码；

步骤S4、卷积神经网络与序特征比较模块进行联合训练；

将度量不同区域特征大小关系的序特征比较模块嵌入所设计的卷积神经网络后，采用三元组损失函数进行训练，并使用在线的三元组选择策略；采用汉明距离的展开形式度量不同图像经过卷积网络和FeatOM模块得到的编码后的特征的相似性，具体为：

采用汉明距离的展开形式作为虹膜近似二值编码的相似性度量准则；那么一对图像的编码之间的相似性用下式表示：

其中，X为虹膜图像对应的编码表示；h为X所具有的行数；w为X所具有的列数；C为X所具有的通道数；X_i,j,d表示编码后的图像第d通道位置(i,j)处的值；D表示两个虹膜编码之间的汉明距离；

利用三元组损失函数实现卷积神经网络与序特征比较模块的联合训练：三元组损失函数的目的是最小化同类图像x^a和x^p距离的同时最大化不同类图像x^a和xⁿ距离；三元组图像(x^a,x^p,xⁿ)经过序特征比较模块后的输出为(X^a,X^p,Xⁿ)；三元组图像(x^a,x^p,xⁿ)对应的损失函数为l＝max(D(X^a,X^p)+α-D(X^a,Xⁿ),0)；其中D(X^a,X^p)表示X^a与X^p之间的相似性，D(X^a,Xⁿ)表示X^a与Xⁿ之间的相似性；

当损失函数值不为0时，结合公式(4)得其反向传播的公式为：

其中，l表示经过卷积神经网络和序特征比较模块最终计算得到的损失函数；X^a表示目标图片的二值化编码图像；X^p表示与目标图像同类别的图像的二值化编码图像；Xⁿ表示与目标图像不同类别的图像的二值化编码图像；h为X所具有的行数；w为X所具有的列数；C为X所具有的通道数；

在进行三元组损失的端到端训练时，采用在线的三元组选择策略，

步骤S5、虹膜匹配并返回识别结果；

测试时，将展开后的虹膜图像送入步骤S4训练好的模型中，并对FeatOM模块中近似序编码层的输出进行二值化，得到虹膜图像的0-1比特编码b，同时对掩模图像进行处理得到编码匹配的有效权重w，然后计算编码b和权重w与数据库中已注册人员的虹膜编码之间的加权汉明距离，根据事先设定的距离阈值判断系统访问人员是否为已注册人员；具体如下：

5.1)掩模图像的处理；

将掩模图像送入卷积神经网络中进行处理时，对卷积层，采用和卷积核相同大小的窗口对掩模图像进行均值池化，即对卷积神经网络的主干架构中的conv1层，采用大小为3×3的均值池化对掩模图像进行处理；对于使用空洞卷积的卷积层，采用与其感受野相同大小的窗口进行均值池化，即对于空洞间隔为1的3×3卷积，采用大小为5×5的均值池化对掩模图像进行处理；池化层仍然采用步骤s2中的最大池化；

与虹膜展开图像卷积特征的序特征比较模块相对应，对经过网络处理后的掩模图像进行如下运算：

其中，z表示像素位置；Δz表示两个像素之间的位移；Ω(z)表示一个特征区域；Ω(z+Δz)表示一个与Ω(z)的位置偏移Δz的特征区域；|Ω(z)|表示区域Ω(z)中的元素个数；t表示属于区域Ω(z)的像素；t'表示属于区域Ω(z+Δz)的像素；r(t)表示掩模图像上位置t处的像素值；r(t')表示掩模图像上位置t′处的像素值；w(z)表示经过该步处理后最终得到的掩模图像；

5.2)编码匹配；

在匹配过程中考虑到特征点发生移位的情况；

其中，I₁,I₂表示待匹配的图像对；表示I₁对应的序编码；表示I₂对应的序编码；表示图像I₁在位置z处的序编码；表示以z为中心的区域；z'表示位于区域内的像素位置；d表示所具有的通道数；z^*表示中以z为中心的区域内与匹配的特征点位置；

考虑掩模图像的使用，那么虹膜编码之间的相似性为：

其中，s表示图像之间的汉明距离；表示图像I₁在位置z处的序编码；表示在图像I₂上匹配的序编码；表示图像I₁在位置z处的掩模；表示图像I₂在位置z^*处的掩模；d表示序编码图像b或掩模图像w所具有的通道数，掩模图像w、序编码图像b的通道数相等；

根据事先设定的汉明距离阈值判断系统访问人员是否为已注册人员。