[发明专利]一种可回收垃圾视觉分类方法、系统、设备

权利要求书

1.一种可回收垃圾视觉分类方法，其特征在于，所述方法包括以下步骤：

获取传送带上物体的RGB图像和深度信息；

根据获取的物体的RGB图像，对RGB图像进行分割和分类；

将分割后的RGB图像与对应的深度信息匹配，获取各物体在世界坐标的点云；

根据各物体在世界坐标的点云、传送带的运动速度，计算各物体的抓取位姿。

2.如权利要求1所述的可回收垃圾视觉分类方法，其特征在于，根据获取的物体的RGB图像，对RGB图像进行分割和分类，具体方式为：通过基于深度卷积神经网络模型的实例分割算法，对RGB图像进行分割，得到各个物体在RGB图像中的区域、各个物体所属的垃圾种类。

3.如权利要求2所述的可回收垃圾视觉分类方法，其特征在于，还包括：

根据垃圾回收种类的定义，采集各种物体图像并进行标注，使用标注后的图像数据对所述基于深度卷积神经网络模型进行预先训练。

4.如权利要求2所述的可回收垃圾视觉分类方法，其特征在于，将分割后的RGB图像与对应的深度信息匹配，获取各物体在世界坐标的点云，具体方式为：

根据检测得到的各个物体的位置区域，从深度信息中获取各个物体在RGB相机坐标系的点云，所述点云由Nⅹ4矩阵P_c表示，其中N为矩阵行数，即物体点云的三维点数量，每行的四个数分别表示一个三维点的齐次(x,y,z,l)坐标；

根据物体在RGB相机坐标系的点云，计算物体在世界坐标系下的点云：设从各个物体的相机坐标系到世界坐标系的转换矩阵为M，M为4ⅹ4矩阵，设物体在世界坐标系下的点云为Nⅹ4矩阵P_w,则计算公式为：P_w＝(M·(P_c)^T)^T，其中T表示矩阵的转置运算。

5.如权利要求4所述的可回收垃圾视觉分类方法，其特征在于，根据所述各物体在世界坐标的点云、传送带的运动速度，计算各物体的抓取位姿，具体包括：

根据所述各物体在世界坐标的点云，计算各物体的初步抓取位姿；

根据各物体的初步抓取位姿、传送带的运动速度，计算各物体的实时抓取位姿。

6.如权利要求5所述的可回收垃圾视觉分类方法，其特征在于，所述根据所述各物体在世界坐标的点云，计算各物体的初步抓取位姿，具体方式为：

根据物体的世界坐标点云，计算得到物体的初步抓取位姿，初步抓取位姿G由G_x,G_y,G_z,G_α,G_β,G_θ六个变量表示，其中(G_x,G_y,G_z)表示抓取位姿的空间位置坐标，(G_α,G_β,G_θ)表示抓取位姿的单位方向向量。

7.如权利要求6所述的可回收垃圾视觉分类方法，其特征在于，根据各物体的初步抓取位姿、传送带的运动速度，计算各物体的实时抓取位姿，具体方式为：

设传送带的传输速度恒定为V，在x和y方向的速度分别为Vx和Vy，G(T)为根据T时刻获取的RGB图像和深度图像计算得到的初步抓取位姿，则各物体的实时抓取位姿G(t)的计算公式为：

Gx(t)＝Gx(T)+Vxⅹ(t-T),

Gy(t)＝Gy(T)+Vyⅹ(t-T),

G_Z(t)＝G_Z，G_α(t)＝G_α，G_β(t)＝G_β，G_θ(t)＝G_θ。