[发明专利]基于2D与3D特征结合的物体识别方法

权利要求书

1.一种基于2D与3D特征结合的物体识别方法，其特征在于包含以下步骤：

步骤一：对单个模型物体，获取点云数据进行三维模型重建；

所述步骤一具体为

1.1Kinect相机对单个模型物体的10类模型逐个单独获取其各个视角总共24帧点云数据，对每一帧点云数据进行点云直通滤波去除无关背景及前景，通过RANSAC算法去除点云支撑平面，采用统计分析滤波去除点云边缘噪声，完成24帧点云预处理；

1.2对24帧点云进行关键点ISS3D检测与FPFH特征描述；

1.3采用改进ICP算法进行两两拼接，重建该物体点云三维模型，并对该物体模型进行类别序号标注，添加进点云模型库；

所述改进ICP算法具体为

采用SAC-IA首配准的方式，将计算出一个相近匹配的一个初始旋转平移矩阵；

不对点集中的每个点进行搜索，将对每个点集进行ISS3D关键点检测，将采用具有特征的关键点进行对应点集搜索；

对于kdtree搜索点对点最近邻方式出现错误点对，未能匹配及剔除的，搜索方式将采用点与到另一点云中最近三点的所构成的三角形之间的位置关系进行判断是否剔除；

步骤二：对步骤一获取的点云数据进行降维，得到经过点云处理后降维为二维的图像，并对获取的二维图像数据集进行预处理；

步骤三：训练基于MobileNetV2的分类网络；

步骤四：在线物体识别；

所述步骤四具体为

4.1利用kinect相机获取在线物体的场景彩色点云数据，对其场景彩色点云数据进行直通滤波去除无关前景与背景处理，采用基于RANSAC去除场景彩色点云数据支撑平面，采用基于统计分析滤波对场景彩色点云数据边缘噪声进行处理，使其减少无关干扰，并增加后续点云识别速度；

4.2对预处理后的场景彩色点云数据采用基于改进的欧式聚类分割，对简单场景及复杂遮挡场景进行各个物体分割得到分割后的数个物体点云数据；

4.3对分割后的数个物体点云数据，进行点云降维处理，输入基于MobileNetV2的分类网络模型进行识别该点云数据为哪类序号的物体点云类型，若分类网络模型输出该物体类别概率小于90％时，认为其分类错误，则该物体识别失败，若大于90％，将从点云模型库取其序号模型点云，并对其进行SHOT特征提取，SHOT特征对比FPFH特征；

4.4对于分类成功的场景彩色点云数据，对其在分割后的点云进行SHOT特征提取，与模型点云一一对应进行特征匹配，利用基于SAC-IA算法对其进行估计初始旋转平移矩阵，并采用改进ICP算法进行假设验证，输出该识别物体六自由度位姿，完成在线物体识别。

2.按照权利要求1所述的基于2D与3D特征结合的物体识别方法，其特征在于：所述步骤二中点云处理过程为根据kinect相机原理，物体彩色点云获取由彩色相机获取其RGB值，深度相机通过ToF原理获取其深度信号，再通过彩色与深度相机之间刚体变换，从而获取其物体彩色点云，通过彩色点云与深度图像之间距离变换，再通过深度图像与彩色图像旋转平移矩阵，即可将彩色点云降维为二维图像。

3.按照权利要求1所述的基于2D与3D特征结合的物体识别方法，其特征在于：所述步骤二中二维图像数据集预处理过程为采用数据增强的方式，对二维图像数据集进行数据增强，数据增强的方式包含

旋转：通过在原图上先放大图像，然后剪切图像得到；

平移：先放大图像，然后水平或垂直偏移位置剪切；

缩放：缩放图像；

随机遮挡：对图像进行小区域遮挡；

水平翻转：以过图像中心的竖直轴为对称轴，将左、右两边像素交换；

颜色色差，包含饱和度、亮度、对比度和锐度；

噪声扰动：对图像的每个像素RGB进行随机扰动,噪声模式采用椒盐噪声或高斯噪声。

4.按照权利要求1所述的基于2D与3D特征结合的物体识别方法，其特征在于：所述步骤三具体为

基于MobileNetV2的分类网络模型，除了首层卷积层为标准卷积层之外，其余卷积层都为倒残差块的深度可分离卷积层，最后层是1*1点卷积层，输入为大小224*224通道为3的样本图；

采用迁移学习的方法，在选取数据集CIFAR10来进行模型预训练，其中CIFAR-10数据集包含10个类别的60000张彩色图像，每个类别6000个图像，有50000张训练图像和10000张测试图像，然后将步骤一获取的二维图像数据集输入预训练网络模型中，进行再训练微调，将产生有效的数据供给最后的决策层或分类层做出最后的分类预测。