[发明专利]一种动态环境下的物体辨识与定位方法

权利要求书

1.一种动态环境下的物体辨识与定位方法，其特征在于，包括如下步骤：

1)通过机载环境感知系统和集群车载环境感知系统获取大量的作业环境的图像作为训练库，将训练库中的图像进行预处理和特征提取，将特征提取后的图像分类成训练集、验证集和测试集；

2)将训练集输入改进的Faster-RCNN深度学习模型进行训练，再将验证集和测试集输入训练好的改进的Faster-RCNN深度学习模型进行验证和测试，得到目标物体特征模型；

3)通过机载环境感知系统获取全局地形和全局位置信息，并对全局地形进行预处理和特征提取后输入目标物体特征模型获得全局静态物体辨识信息，还对全局地形进行图像处理得到全局静态物体特征点对应的深度信息值；

4)通过集群车载环境感知系统获取工程机械集群实际作业过程中的局部地形与局部位置信息，并进行预处理和特征提取后输入目标物体特征模型获得局部动态物体辨识信息，还对局部地形进行图像处理得到局部动态物体特征点对应的深度信息值；

5)采用目标特征提取与图像融合方法实现全局静态物体辨识信息及对应的深度信息值与全局位置信息、局部动态物体辨识信息及对应的深度信息值与局部位置信息的融合，得到工程机械集群作业动态环境下的物体辨识与定位信息。

2.如权利要求1所述的一种动态环境下的物体辨识与定位方法,其特征在于，所述预处理包括滤波去燥和图像增强；所述特征提取包括对图像进行分块处理，将分块后的子图像进行Gabor特征提取，并通过核主成分分析进行降维处理得到8个方向的特征并结合子图像RGB的3个通道特征组成特征向量。

3.如权利要求1所述的一种动态环境下的物体辨识与定位方法,其特征在于，所述机载环境感知系统获包括无人机、机载双目摄像机和北斗定位传感器设备，该机载双目摄像机和北斗定位传感器设备安装于无人机上，对机载双目摄像机进行参数标定，获取由图像二维像素点到空间三维位置之间的映射矩阵方程；通过启动无人机至适宜高度，对作业环境进行单次扫描，采集周围环境全局地形和全局位置信息。

4.如权利要求1所述的一种动态环境下的物体辨识与定位方法,其特征在于，所述集群车载环境感知系统包括有工程机械、双目摄像机和北斗定位传感设备，该机载双目摄像机和北斗定位传感器设备安装于工程机械，对机载双目摄像机进行参数标定，获取由图像二维像素点到空间三维位置之间的映射矩阵方程；当工程机械发动时，不间断地采集周围环境的局部地形与局部位置信息。

5.如权利要求1所述的一种动态环境下的物体辨识与定位方法,其特征在于，所述目标物体特征模型包括全局静态物体特征模型和局部动态物体特征模型，所述步骤3)中，特征提取后输入全局静态物体特征模型得到所述全局静态物体辨识信息；所述步骤4)中，特征提取后输入局部动态物体特征模型得到所述局部动态物体辨识信息。

6.如权利要求3所述的一种动态环境下的物体辨识与定位方法,其特征在于，所述步骤3)中，还包括对全局地形通过加权平均法转化为灰度图像，再进行直方图均衡化操作处理得到左右灰度图像，利用Harris-SURF算法检测并匹配左右灰度图像中全局地形表面的特征点后，由映射矩阵方程计算得到全局静态物体特征点对应的深度信息值。

7.如权利要求4所述的一种动态环境下的物体辨识与定位方法，其特征在于，所述步骤4)中，还包括对局部地形通过加权平均法转化为灰度图像，再进行直方图均衡化操作处理得到左右灰度图像，利用Harris-SURF算法检测并匹配左右灰度图像中局部动态物体表面的特征点后，由映射矩阵方程计算得到局部动态物体特征点对应的深度信息值。

8.如权利要求1所述的一种动态环境下的物体辨识与定位方法,其特征在于，所述步骤5)中，采用主成分分析变换法、小波变换法或Gram Schmidt变换法实现全局静态物体辨识信息及对应的深度信息值与全局位置信息、局部动态物体辨识信息及对应的深度信息值与局部位置信息的融合，获得动态环境下的物体辨识与定位信息。