[发明专利]一种基于CCD与三维激光传感信息融合特征提取的茶尖识别方法

权利要求书

1.一种基于CCD与三维激光传感信息融合特征提取的茶尖识别方法，其特征在于，包括如下步骤：

步骤1：建立可量化的颜色空间模型及RGB颜色数学模型，在使用CCD相机获得图像数字量表示的RGB三基色像素值后，根据分选颜色模型为不同物料进行属性划分，对分选物料颜色阈值区间的属性划分；

步骤2：对CCD相机获得的图像进行分类，当进行标准图像分类时，指定一个输入图像，将它输入到卷积神经网络中会获得一个类标签以及相应被分类标签的概率，应用受限玻尔兹曼机对神经网络进行逐层无监督的预训练，把各层已预训练好的参数作为整个神经网络的初始化参数，最后利用标注的数据进行有监督训练；

步骤3：激光雷达扫描系统得到的原始数据是距离和角度信息，构建一个几何模型，将激光雷达的距离和角度信息映射到三维坐标系下，然后对激光雷达进行参数标定，标定包括内参标定和外参标定；

步骤4：在CCD相机和激光雷达已经标定好的基础上，将这些稀疏的激光雷达点云的深度值传递到致密图像的每个像素上去，基于双边滤波的采样，通过使用高斯滤波器，这K个最近邻的深度值被用来恢复得到目标像素点的深度值；

步骤5：首先对CCD相机和激光雷达进行联合标定，然后用图像处理的方法对采集的图像进行处理，运用机器视觉的方法诸如颜色、神经网络类标签等识别茶尖；结合激光雷达点云数据，进而得到深度信息，计算茶尖的实际尺寸和位置信息。

2.如权利要求1所述的一种基于CCD与三维激光传感信息融合特征提取的茶尖识别方法，其特征在于，步骤1中，对数字量的像素值设定阈值区间，为不同颜色阈值区间添加不同物料属性标签，标签确定物料是会被保留还是会被剔除。

3.如权利要求2所述的一种基于CCD与三维激光传感信息融合特征提取的茶尖识别方法，其特征在于，步骤1中，颜色阈值分割，CCD输出信号电荷量信号经过A/D转换，输出8位精度数字信号，三种颜色的输出范围均在[0，255]区间内，分析待选茶叶的颜色特征，可以设定三种不同的阈值区间：[0，Threshold1]，[Threshold2，Threshold3]，[Threshold4，255]，这三种阈值区间任意搭配，可以单区间使用也可以多区间使用，在作为保留阈值区间时，茶尖的像素值Pixel若不在阈值区间内则视为该茶叶为需要剔除的样本，相反则视为需要保留的，而作为剔除阈值区间时，与作为保留阈值区间逻辑完全相反。

4.如权利要求1所述的一种基于CCD与三维激光传感信息融合特征提取的茶尖识别方法，其特征在于，步骤2中，应用受限玻尔兹曼机对神经网络进行逐层无监督的预训练，学习不同层次的特征表达，每一层特征表达都是通过前一次的表达变换得到，把所有层次叠加起来形成一个深度神经网络，把各层已预训练好的参数作为整个神经网络的初始化参数，最后利用标注的数据进行有监督训练。

5.如权利要求4所述的一种基于CCD与三维激光传感信息融合特征提取的茶尖识别方法，其特征在于，步骤2中，设定橙色圆圈表示当前状态下受限玻尔兹曼机需要学习得到的隐含层，绿色圆圈表示当前状态下可视层，因此最高的可视层往下的网络参数可以被逐层无监督学习得到，在最后的状态，所有中间层都已经作为可视层，在最顶层加上输出层，然后以前面得到的参数作为初始化用反向传播算法全部重新训练，得到一个层数很深的深度神经网络；在图像分类的基础上，神经网络会对图像中的目标进行定位、特征提取；

在执行目标检测时，给定一个输入图像能够获得：

(1)边框列表，或者图像中每个目标的(x，y)坐标；

(2)每个边框所对应的类标签；

(3)每个边框和类标签相应置信度分数。

6.如权利要求1所述的一种基于CCD与三维激光传感信息融合特征提取的茶尖识别方法，其特征在于，步骤3中，激光雷达的内部模型以及参数预先固定并校正好，外参根据所设计的坐标系来标定，激光雷达可直接获得茶尖详细的三维几何和距离信息，通过对这些信息的筛选、归类、除噪等工作，提取出属于茶尖的几何和距离信息后，通过坐标变换得到茶尖的形状特征和坐标，实现茶尖形态识别。