[发明专利]一种基于DMD和YOLOV5的光电智能垃圾分拣方法

权利要求书

1.一种基于DMD和YOLOV5的光电智能垃圾分拣方法，其特征在于：依托的垃圾分拣小车，包括传感器模块、信息处理模块、控制系统模块以及运动模块；

其中，传感器模块包括摄像头、IMU单元、激光雷达以及光电编码器；

信息处理模块包括识别处理单元、回收识别单元以及卡尔曼滤波处理单元；

控制系统模块包括任务规划子模块、底层驱动单元和通信单元；

任务规划子模块包括垃圾识别定位单元、垃圾拾取判决单元和导航与路径规划单元；

运动模块选择矩形四轮双层小车作为载体，该双层小车搭载传感器模块、控制系统模块及运动模块；运动模块，具体包括机械臂及机械爪、运动底盘单元以及车体和车轮单元；

传感器模块在控制系统模块调用和控制下，获取感兴趣目标区域内的图像、小车姿态、位置及码型，供给信息处理模块及运动模块；

所述光电智能垃圾分拣方法，具体包括如下步骤：

步骤1.初始化垃圾分拣小车，包括摄像头初始化、机械臂及机械爪初始化；

步骤2.通过传感器模块的摄像头获取垃圾图像；

步骤3.依据步骤2获取的垃圾图像构建垃圾图像数据集，具体通过DMD分解垃圾图像为背景和前景，提取分解后的垃圾图像前景，构建垃圾图像数据集；

步骤4.将步骤3中构建的垃圾图像数据集输入YOLOV5网络进行训练，得到训练好的YOLOV5网络，将该训练好的YOLOV5网络作为垃圾图像识别模型；

步骤5.通过传感器模块中的摄像头捕捉待识别的时序画面，使用DMD将捕捉的待识别时序画面区分为背景和前景，提取待识别时序画面的前景构成测试集；

步骤6.利用步骤4训练好的垃圾图像识别模型对测试集中的待识别画面的前景进行实时分类与识别，得到所述待识别画面中的垃圾位置和数量。

2.依据权利要求1所述的一种基于DMD和YOLOV5的光电智能垃圾分拣方法，其特征在于：步骤3中，DMD将采集的垃圾图像数据作为相同的连续两帧图像并建立线性相关矩阵，对时序矩阵求解获得图像数据的前景和背景。

3.依据权利要求2所述的一种基于DMD和YOLOV5的光电智能垃圾分拣方法，其特征在于：步骤5中，使用DMD将捕捉的待识别时序画面区分为背景和前景，具体为：

步骤5.1.基于待识别时序画面建立时序矩阵

其中，时序矩阵表示为为一个视频流，按照时间间隔Δt均匀捕捉的连续N帧时序画面；

步骤5.2基于步骤5.1中的时序矩阵建立时序矩阵和时序矩阵

步骤5.3基于步骤5.2中建立的时序矩阵和建立关系矩阵A；

其中，为时序矩阵的广义逆矩阵；

步骤5.4对步骤5.2建立的时序矩阵进行奇异值分解；

其中，时序矩阵通过奇异值分解得到的U和V是酉矩阵，Σ是对角矩阵，V^*是矩阵V的伴随矩阵；

步骤5.5.基于步骤5.2中建立的时序矩阵步骤5.3建立的关系矩阵A、步骤5.4中得到的U矩阵得到近似关系矩阵

步骤5.6基于步骤5.5得到的近似关系矩阵进行特征分解，得到特征值λ和特征向量ω以及由特征向量组成的矩阵Q；

步骤5.7基于步骤5.2中建立的时序矩阵步骤5.4中得到的U矩阵和Σ矩阵和步骤5.6得到的矩阵Q建立DMD的模态

步骤5.8根据线性相关数据矩阵S求解待识别时序画面的前景和背景。

4.依据权利要求3所述的一种基于DMD和YOLOV5的光电智能垃圾分拣方法，其特征在于：步骤5.5中，U^*是矩阵U的伴随矩阵。

5.依据权利要求4所述的一种基于DMD和YOLOV5的光电智能垃圾分拣方法，其特征在于：步骤5.7中，模态是矩阵Σ的广义逆矩阵。

6.依据权利要求5所述的一种基于DMD和YOLOV5的光电智能垃圾分拣方法，其特征在于：步骤5.8中，前景和背景分别为：

其中，r为使用到的模态的个数，为DMD对应的模态；α_j为对应的系数，ω_j实部对应DMD基函数的增长或衰减，虚部对应DMD的震荡，p为低秩模式，t表示时序矩阵的时刻。