[发明专利]融合深度学习的牛脸识别方法、装置、电子设备和介质

说明书

本发明提出了一种融合深度学习的牛脸识别方法，该方法为：获取样本牛脸部成对的RGB图与深度图，制成样本牛的图像数据集送到牛脸分割算法中，将牛脸从RGB图和深度图的画面背景中分割出来，然后构建样本牛脸数据集并打上用于分类两个样本牛对是否来自同一只牛的标签；再输入到深度信息和图像信息融合的牛脸识别网络中进行训练，直到所述牛脸识别网络将样本牛脸数据集中不同样本牛的图片相互区分，结束训练，得到训练好的牛脸识别网络；最后用训练好的牛脸识别网络识别牛脸，确定牛的身份信息。本发明采用深度信息和图像信息融合的方法改进牛脸识别技术，减小了牛姿态和光照发生变化对牛脸识别的影响，提高了牛脸识别在不同场景下的鲁棒性。

技术领域

本发明属于视觉识别技术领域，具体涉及一种融合深度学习的牛脸识别方法、装置、电子设备和介质。

背景技术

结合RGB图与深度图的图像分割算法。提出了一种牛脸分割算法，结合RGB图和深度图进行牛脸分割。利用深度图像素点值表示被拍摄物体的各点与相机的距离，且不受物体颜色影响的特性，把深度图转化为HSV空间图片，利用V(明度)的阈值分割。提出了一种获取分割阈值的方法。依据牛脸识别场景中，深度图直方图的最后一个大波形是牛脸的波的特性，将深度图直方图最后一个大波谷作为分割阈值进行阈值分割。用RGB图分割算法GrabCut做辅助分割。牛脸分割算法避免了牛脸颜色与背景颜色相似或相同对分割的不利影响，分割后的牛脸图片前景与背景分离，避免了后续对牛脸图片操作的干扰。

发明内容

本发明所要解决的技术问题在于针对上述现有技术的不足，提供了一种融合深度学习的牛脸识别方法、装置、电子设备和可读存储介质，该方法采用深度信息和图像信息融合的方法改进牛脸识别技术，减小了牛姿态和光照发生变化对牛脸识别的影响，提高了牛脸识别在不同场景下的鲁棒性。

为解决上述技术问题，本发明采用的技术方案是：一种融合深度学习的牛脸识别方法，其特征在于，包括：

获取样本牛脸部成对的RGB图与深度图，制成样本牛的图像数据集；

将样本牛的图像数据集输入到RGB图与深度图结合的牛脸分割算法中，将牛脸从RGB图和深度图的画面背景中分割出来，得到RGB牛脸图像和深度牛脸图像，然后根据样本牛的RGB牛脸图像和深度牛脸图像形成牛脸图片对，由样本的牛脸图片对构建样本牛脸数据集，样本牛脸数据集包括多个样本对的牛脸RGB图与深度图，每个样本对的牛脸RGB图与深度图包括两个样本的牛脸RGB图与深度图，两个样本牛来自不同牛或者同一头牛，每个样本对的牛脸RGB图与深度图打上标签，所述标签用于分类两个样本牛对是否来自同一只牛；

将样本牛脸数据集输入到深度信息和图像信息融合的牛脸识别网络中进行训练，直到所述牛脸识别网络将样本牛脸数据集中不同样本牛的图片相互区分，结束训练，得到训练好的牛脸识别网络；

先将牛场中每一头牛的成对的RGB图和深度图进行身份注册，选择其中一头牛作为待识别牛，获取待识别牛的成对的RGB图和深度图，经RGB图与深度图结合的牛脸分割算法分割成待识别牛的RGB牛脸图像和深度牛脸图，再输入到训练好的牛脸识别网络，得到待识别牛的身份信息。

进一步地，S1中通过深度相机为双目相机，采集样本牛脸部同一副画面的深度图和RGB图，即样本牛脸部成对的RGB图与深度图。

进一步地，S2中将样本牛的图像数据集输入到RGB图与深度图结合的牛脸分割算法中，将牛脸从RGB图和深度图的画面背景中分割出来，得到RGB牛脸图像和深度牛脸图像；具体包括：

S201、将所述样本牛的图像数据集中的深度图中由暗到亮的像素进行聚类显示，获得深度图的直方图；

S202、采用基于连续小波变换的获取波谷算法分割出S201中所述深度图的直方图的波谷，根据最后一个波谷的阈值计算与所述深度图中牛脸矩形框坐标数组，最后根据所述深度图中牛脸矩形框坐标数组获得RGB图中牛脸矩形框；