[发明专利]基于深度神经网络的双机械臂肉鸽饲喂系统

权利要求书

1.一种基于深度神经网络的双机械臂肉鸽饲喂系统，其特征在于：包括底盘车模块、喂料模块、送料模块与控制运算模块；底盘车模块包括底盘车行走机构与第一深度相机，第一深度相机安装在底盘车行走机构的前沿中部；喂料模块包括双机械臂、第二深度相机、超声波测距传感器与接料盒，双机械臂分别安装在底盘车行走结构的左、右两侧且双机械臂侧方分别安装一第二深度相机与超声波测距传感器，双机械臂末端分别设置一接料盒；送料模块设置在双机械臂之间且送料模块与接料盒连通；运算控制模块分别与底盘车模块、喂料模块、送料模块电连接；

所述送料模块与接料盒之间采用星型下料阀，且接料盒采用风车形料盒；

该系统进行肉鸽饲喂的方法具体包括：

步骤S100：将饲喂系统放置在待饲喂的肉鸽养殖棚内，上电，进行饲喂系统初始化；

步骤S200：启动第一深度相机，运算控制模块通过第一深度相机采集的数据、获得底盘车行走机构的导航线，具体为：

步骤S201：首先，通过第一深度相机获取鸽场实地环境、多种真实光照条件下的640*480的养殖道路图片5000张；然后，针对采集到的图像进行预处理与增强处理；

步骤S202：采用Unet作为基础框架搭建语义分割网络模型，将步骤S201中经预处理和增强处理后的图像、通过labelimg工具进行标注后制成第一数据集；之后，将第一数据集放入神经网络进行模型迭代训练，训练后的模型能够分割道路轮廓；然后，将分割出来的道路轮廓进行图像处理后，得到道路边缘点坐标信息；

步骤S203：将步骤S202中的道路边缘点坐标信息分为左边缘点(x_l，y_l)、右边缘点(x_r，y_r)，获取导航点坐标(x_m，y_m)，具体为：

y_m＝y_l＝y_r；

式中：d表示道路宽度；

拟合导航点坐标[(x_m1,y_m1),…，(x_mi,y_mi),…，(x_mn,y_mn)]，获得导航线：

y＝ax+b；

式中：表示所有导航点坐标x_m的平均值；表示所有导航点坐标y_m的平均值；

同时，运算模块通过第一深度相机采集的数据、获得料槽侧面中心点在第一深度相机坐标系的相对位置，具体为：

步骤S204：首先，通过第一深度相机获取鸽场实地环境、多种真实光照条件下的640*360的料槽侧面图片5000张；然后，针对采集到的图像进行预处理与增强处理；

步骤S205：采用Yolov5作为基础框架搭建目标识别网络模型，将步骤S204中经预处理和增强处理后的图像、通过labelimg工具进行标注后制成第二数据集；之后，将第二数据集放入神经网络进行模型迭代训练，训练后的模型能够从侧面识别料槽；然后，将识别出来的料槽侧面图像进行图像处理后，得到料槽侧面识别框的坐标信息；取料槽侧面识别框的中心点，获得料槽侧面中心点在第一深度相机坐标系的相对位置：

式中：z_p表示深度信息；u、v表示料槽侧面图像识别框的中心点坐标；d_x、d_y表示像素尺寸大小；f_x、f_y表示相机在x轴、y轴的成像焦距；(x_p，y_p，z_p)表示料槽侧面中心点在第一深度相机坐标系的三维位置；

步骤S300：运算控制模块启动底盘车行走机构按照步骤S200中的导航线运行，到达步骤S200中获得的料槽位置后，底盘车行走机构停止运行；

步骤S400：启动两侧的第二深度相机与超声波测距传感器，获取料槽正面中心点在第二深度相机坐标系的相对位置及料槽内剩料情况，具体为：

步骤S401：通过两侧的第二深度相机分别获取两侧的图像、并截取料槽图像，对图像进行降噪处理；

步骤S402：将进行降噪处理后的料槽图像转换为HSV格式，从而获取到料槽图像的每一个像素点的HSV颜色空间值；然后，根据V分量颜色空间对每一列的每一个像素对应的V分量值，获得X_i-col的一维矩阵[v_1i,v_2i,…，v_ni]；之后，对X_i-col的一维矩阵进行v_(i+1)i-v_(i)i的迭代计算，当其差值的绝对值大于预设阈值V_limit时，获得n个阈值边界点，取最后一个边界点为X_i-col的一维矩阵的边界点X_b；最后，对每一列进行上述操作，提取出阴影的上轮廓曲线，结合料槽图像的底部边缘，获得料槽正投影阴影轮廓面积；

步骤S403：开启带有直射光源的超声波测距传感器，分别获取超声波到料槽内部左侧点的距离D_l、超声波到料槽内部中点的距离D_c、及超声波到料槽内部右侧点的距离D_r；获取回归曲线：

W＝kD+b；

式中：W表示补偿权重，其包括左侧点补偿权重W_l、中点补偿权重W_c与右侧点补偿权重W_r；k、b为常数值；

然后，根据补偿权重与获得的正投影阴影轮廓面积，获得最终轮廓曲线X_bN：

X_bN＝W·X_b；

得到料槽内的剩料情况；

然后，运算控制模块将获得的料槽正面中心点转换为机械臂坐标系中的三维坐标，规划机械臂控制轨迹；

步骤S500：运算控制模块根据步骤S400中的剩料情况打开星型下料阀，通过喂料模块向料槽盒内定量送料；之后，运算控制模块根据步骤S400中的机械臂控制轨迹启动机械臂，依次完成饲喂动作；

步骤S600：重复进行步骤S200～S500，直至完成一列鸽笼料槽的投喂。