[发明专利]融合深度学习的牛脸识别方法、装置、电子设备和介质

权利要求书

1.一种融合深度学习的牛脸识别方法，其特征在于，包括：

获取样本牛脸部成对的RGB图与深度图，制成样本牛的图像数据集；

将样本牛的图像数据集输入到RGB图与深度图结合的牛脸分割算法中，将牛脸从RGB图和深度图的画面背景中分割出来，得到RGB牛脸图像和深度牛脸图像，然后根据样本牛的RGB牛脸图像和深度牛脸图像形成牛脸图片对，由样本的牛脸图片对构建样本牛脸数据集，样本牛脸数据集包括多个样本对的牛脸RGB图与深度图，每个样本对的牛脸RGB图与深度图包括两个样本的牛脸RGB图与深度图，两个样本牛来自不同牛或者同一头牛，每个样本对的牛脸RGB图与深度图打上标签，所述标签用于分类两个样本牛对是否来自同一只牛；

将样本牛脸数据集输入到深度信息和图像信息融合的牛脸识别网络中进行训练，直到所述牛脸识别网络将样本牛脸数据集中不同样本牛的图片相互区分，结束训练，得到训练好的牛脸识别网络；

先将牛场中每一头牛的成对的RGB图和深度图进行身份注册，选择其中一头牛作为待识别牛，获取待识别牛的成对的RGB图和深度图，经RGB图与深度图结合的牛脸分割算法分割成待识别牛的RGB牛脸图像和深度牛脸图，再输入到训练好的牛脸识别网络，得到待识别牛的身份信息。

2.根据权利要求1所述的一种融合深度学习的牛脸识别方法，其特征在于，S1中通过深度相机为双目相机，采集样本牛脸部同一副画面的深度图和RGB图，即样本牛脸部成对的RGB图与深度图。

3.根据权利要求1所述的一种融合深度学习的牛脸识别方法，其特征在于，S2中将样本牛的图像数据集输入到RGB图与深度图结合的牛脸分割算法中，将牛脸从RGB图和深度图的画面背景中分割出来，得到RGB牛脸图像和深度牛脸图像；具体包括：

S201、将所述样本牛的图像数据集中的深度图中由暗到亮的像素进行聚类显示，获得深度图的直方图；

S202、采用基于连续小波变换的获取波谷算法分割出S201中所述深度图的直方图的波谷，根据最后一个波谷的阈值计算与所述深度图中牛脸矩形框坐标数组，最后根据所述深度图中牛脸矩形框坐标数组获得RGB图中牛脸矩形框；

S203、对S202中所述RGB图中牛脸矩形框内的牛脸进行RGB图的GrabCut分割算法，获得初步分割出的牛脸图A；

S204、基于S202中最后一个波谷所在深度图的明度作为阈值，对深度图进行分割，大于阈值的部分保留，小于阈值的部分去除并替换为黑色作为背景色；然后获取深度图前景像素点的坐标，依据坐标对RGB图进行分割，获得初步分割出的牛脸图B。

4.根据权利要求1所述的一种融合深度学习的牛脸识别方法，其特征在于，S2中所述样本对为正样本对或者负样本对，当样本对为正样本对时，表示样本对的两个样本牛来自同一头牛，当样本对为负样本对时，表示样本对的两个样本牛来自不同牛；

S2中所述标签的形式为数组，数组小标为样本对编号，数组值为0或1；具体地，假设X₁和X₂分别为两个样本牛的样本对，Y是样本对的标签，X₁和X₂组成的样本对来自同一头牛时，该样本对匹配，为正样本对，标签Y设为1，表示来自同一样本；X₁和X₂组成的样本对来自不同牛时，该样本对不匹配，为负样本对，标签Y设为0，表示来自不同样本。

5.根据权利要求4所述的一种融合深度学习的牛脸识别方法，其特征在于，S3中所述深度信息和图像信息融合的牛脸识别网络使用孪生网络作为牛脸识别的主干网络，两个共享权重的子网络是孪生网络的重要组成部分，孪生网络使用卷积神经网络将原始图像映射到高维特征空间；权重共享表示两个卷积神经网络中，卷积层中卷积核的权值、卷积层中该通道的偏置量、全连接层中的权值及全连接层中的偏置量等可训练的参数随着训练的epoch增加而同步更新。