[发明专利]基于可变形卷积神经网络的果园果树区域分割方法和系统

权利要求书

1.一种基于可变形卷积神经网络的果园果树区域分割方法，其特征在于，包括：

采集果园的彩色图像和深度图像，提取深度图像的深度特征，利用在深度特征引导下的特征模型提取彩色图像的彩色特征，利用彩色特征对彩色图像进行分割，得到果树区域；

所述特征模型通过训练可变形卷积神经网络得到，训练包括：

对于果园中同一果树区域的深度图像和彩色图像，提取深度图像的深度特征，利用可变形卷积神经网络提取彩色图像的初始彩色特征，利用深度特征和初始彩色特征共同学习得到可变形卷积神经网络的偏置参数，利用深度特征学习得到可变形卷积神经网络的特征放大系数，由此得到特征模型；

所述偏置参数的学习包括：

对深度特征使用并行的卷积核尺寸为3、5和7的卷积操作后与初始彩色特征拼接，使用卷积核尺寸为1的卷积对拼接后的特征进行学习得到偏置参数；

所述特征放大系数的学习包括：

使用卷积核尺寸为1的卷积对深度特征进行学习得到特征放大系数；

所述特征模型为：

其中，y为输出的彩色特征，p_o为输出彩色特征的像素位置，为卷积采样区域，p_k为卷积采样位置，w为卷积核的权重，x为输入的彩色图像，Δp为偏置参数，Δm_k为特征放大系数；

所述可变形卷积神经网络的结构为：

依次连接的第一卷积层、最大池化层、第二卷积层和可变形卷积层，所述第一卷积层的卷积核尺寸为7，第二卷积层中卷积核尺寸依次为1、3、1，可变形卷积层中卷积核尺寸依次为1、3、1。

2.如权利要求1所述的一种基于可变形卷积神经网络的果园果树区域分割方法，其特征在于，所述深度特征通过卷积神经网络提取深度图像得到，所述卷积神经网络中所有卷积层的卷积核尺寸均为1。

3.一种基于可变形卷积神经网络的果园果树区域分割系统，其特征在于，包括：

模型训练模块，用于对果园中同一果树区域的深度图像和彩色图像，提取深度图像的深度特征，利用可变形卷积神经网络提取彩色图像的初始彩色特征，利用深度特征和初始彩色特征共同学习得到可变形卷积神经网络的偏置参数，利用深度特征学习得到可变形卷积神经网络的特征放大系数，由此得到特征模型；

区域分割模块，用于采集果园的彩色图像和深度图像，提取深度图像的深度特征，利用在深度特征引导下的特征模型提取彩色图像的彩色特征，利用彩色特征对彩色图像进行分割，得到果树区域；

所述模型训练模块包括：

深度特征提取模块，用于通过所有卷积层的卷积核尺寸均为1的卷积神经网络提取深度图像的深度特征；

初始彩色特征提取模块，用于可变形卷积神经网络提取彩色图像的初始彩色特征，所述可变形卷积神经网络的结构为：依次连接的第一卷积层、最大池化层、第二卷积层和可变形卷积层，所述第一卷积层的卷积核尺寸为7，第二卷积层中卷积核尺寸依次为1、3、1，可变形卷积层中卷积核尺寸依次为1、3、1；

偏置参数学习模块，用于对深度特征使用并行的卷积核尺寸为3、5和7的卷积操作后与初始彩色特征拼接，使用卷积核尺寸为1的卷积对拼接后的特征进行学习得到偏置参数；

特征放大系数学习模块，用于使用卷积核尺寸为1的卷积对深度特征进行学习得到特征放大系数；

所述特征模型为：

其中，y为输出的彩色特征，p_o为输出彩色特征的像素位置，为卷积采样区域，p_k为卷积采样位置，w为卷积核的权重，x为输入的彩色图像，Δp为偏置参数，Δm_k为特征放大系数。