[发明专利]一种基于多模态主动感知的物品分类回收方法

权利要求书

1.一种基于多模态主动感知的物品分类回收方法，其特征在于该方法包括以下步骤：

(1)搭建一个机器人物品分类回收操作系统：

包括：一台机械臂、一个包含吸盘的机械手、一台彩色深度照相机、一个触觉传感器、一张可放置物品的操作台和物品回收容器，彩色深度照相机、触觉传感器、机械手和机械臂与控制器相连；

其中，机械臂的基座置于机械臂支架上并放置在操作台前方，彩色深度照相机用支架固定在操作台正上方，彩色深度照相机与机械臂的基座相对位置固定，物品随机摆放在操作台的台面上，与彩色深度照相机的镜头相距1至2米；建立机械臂的机械臂基坐标系为o^b-x^by^bz^b，o^b为机械臂的基座中心点，z^b为垂直于机械臂基座朝上方向，y^b为垂直指向操作台方向，x^b垂直于z^b和y^b所确定平面并且指向物品回收容器方向；建立机械手的机械手坐标系为o^h-x^hy^hz^h，o^h为机械手的手掌中心点，z^h为垂直于机械手手掌朝外方向，x^h垂直于机械手相对手指的开合方向，y^h垂直于z^b和x^b所确定平面并符合右手定则，oⁱ-xⁱyⁱ为图像坐标系，oⁱ为彩色深度照相机拍摄得到图片的左下角，xⁱ为从oⁱ向右方向，yⁱ为从oⁱ向上方向且垂直于xⁱ；

所述机械手与机械臂末端连接，机械手在机械臂的带动下运动，触觉传感器装配于机械手手指末端表面，机械手通过蓝牙方式与控制器连接，机械臂通过网线和局域网与笔记本电脑连接；

利用棋盘格标定法获取彩色深度照相机的内参矩阵I_cam与彩色深度照相机光心相对机械臂基坐标系的外参矩阵设机械臂的初始位置为P₀；

(2)训练一个检测物品的视觉目标检测网络模型，得到相对于图像坐标系机械手抓取物品的抓取位姿，具体步骤如下：

(2-1)利用在公开大规模数据集上预训练好的目标检测网络作为初始网络，采集物品的图片和目标检测标注，用采集到的物品的图片和目标检测标注对初始网络进行训练，得到检测物品的视觉目标检测器D_obj；

(2-2)将物品随机摆放在操作台的台面上，利用彩色深度照相机从物品的正上方向下拍摄，获取当前操作台面上的物品的彩色图像I_c和深度图像I_d；

(2-3)将步骤(2-2)的彩色图像I_c输入到步骤(2-1)的视觉目标检测器D_obj中，视觉目标检测器D_obj输出为物品包络框以及与物品包络框相对应的置信度值；设定一个置信度阈值为τ_obj，使视觉目标检测器D_obj输出所有置信度值大于τ_obj的物品包络框，对视觉目标检测器D_obj的输出进行判断，若视觉目标检测器D_obj未输出物品包络框，则返回步骤(2-2)，若视觉目标检测器D_obj输出物品包络框，则选取输出的物品包络框中置信度值最高的物品包络框B_box，并进入步骤(2-4)；

(2-4)根据步骤(2-3)中的物品包络框B_box的范围，对步骤(2-2)的彩色图像I_c和深度图像I_d继续剪裁，得到彩色裁剪图像I_c′和深度裁剪图像I_d′，将彩色裁剪图像I_c′和深度裁剪图像I_d′输入到Affordance网络，Affordance网络的输出为机械手抓取点热力图A_map，抓取点热力图A_map的每个像素与彩色裁剪图像I_c′和深度裁剪图像I_d′的每一个像素相对应，抓取点热力图A_map中的每个像素的像素值表示该像素位置适合被抓取的程度，像素值越大表示该像素位置越适合被抓取；

(2-5)将步骤(2-4)的抓取点热力图A_map中像素值最大的像素点(x_s，y_s)作为机械手吸盘吸取目标物品的吸取点，(x_s，y_s)相对于图像坐标系：

(x_s，y_s)＝argmax_(x，y)(A_map)；

(2-6)分别设定一个像素阈值上限δ_max和一个像素阈值下限δ_min，得到一个像素阈值范围[δ_min，δ_max]，从步骤(2-4)的抓取热力图A_map中提取像素值在像素阈值范围[δ_min，δ_max]内的像素点，所有像素点构成一个区域S，对区域S中的全部像素点的像素位置坐标进行主成分分析计算，得到第一主成分C₁，C₁为一个方向向量，该方向向量表示区域S中的全部像素点在C₁方向的投影最为分散，选择与C₁方向相垂直的方向C₁′作为机械手采用捏取方式抓取目标物时手指闭合的方向，C₁′为在图像坐标系中的表示，得到相对于图像坐标系的机械手抓取物品的抓取位姿p＝[x_s，y_s，C₁′]；

(3)训练一个用于鉴别物品材质的触觉分类器，具体包括以下步骤：

(3-1)采集物品的触觉数据集，具体包括以下步骤：

(3-1-1)设物品中包含N个已知材质的物品，共包含M种材质类型；

(3-1-2)从步骤(3-1-1)的N个已知材质的物品中选取物品O放到操作台的台面上，控制机械臂运动，带动机械手到达适合抓取物品O的最佳抓取位姿，控制机械手相对的手指闭合，以捏取方式抓取物品O，机械手手指末端安装的触觉传感器与物品O表面相互接触，触觉传感器为阵列式，阵列的尺寸为m×n，触觉采样频率为ω，记触觉传感器阵列中的每个触点的传感压力为t_i，j，其中i＝1，2，...，m，j＝1，2，...，n，当机械手相对的手指逐渐闭合时，观察触觉传感压力读数，当有触点的触觉传感压力读数足够大时，认为物品O被抓取成功，这时开始记录λ时间段内阵列式触觉传感器触觉传感压力读数，共计得到T＝ω×λ个采样数据，则得到触觉时间序列m×n×T，此时控制机械手松开被抓取的物品O，完成对物品O的一次触觉数据采集，对于物体O，共进行k次触觉数据采集，得到物品O的k个触觉时间序列，并记录物品O的材质标签；

(3-1-3)遍历步骤(3-1-1)中的N个已知材质的物品，重复步骤(3-1-2)，得到物品的触觉数据集D_tac；

(3-2)对步骤(3-1-3)的物品的触觉数据集D_tac中的每个触觉时间序列m×n×T提取触觉特征，具体包括以下步骤：

(3-2-1)将阵列尺寸为m×n的触觉传感阵列的各个触觉传感压力读数取平均值，则触觉时间序列m×n×T转化为：

S＝[s₁，s₂，...，s_T]；

(3-2-2)分别计算步骤(3-2-1)的触觉时间序列S的平均值μ_S、方差最大值max_S、最小值min_S和范围range_S：

max_S＝maximum(s_t)，

min_S＝minimum(s_t)，

range_S＝max_S-min_S；

(3-2-3)将步骤(3-2-2)中提取的特征顺次连接，得到触觉特征：

f_tac＝[μ_S，σ_S²，max_S，min_S，range_S]；

(3-3)根据步骤(3-2)的触觉特征和步骤(3-1-3)的物品触觉数据集D_tac中提供的相应材质标签，利用支持向量机SVM作为触觉分类器，以触觉特征作为支持向量机SVM的输入，材质标签作为支持向量机SVM的输出，进行训练，得到可鉴别物品材质的触觉分类器；

(4)利用步骤(2)得到的抓取位姿和步骤(3)得到的鉴别物品材质的触觉分类器完成对目标物品的分类回收，具体包括以下步骤：

(4-1)采用步骤(2-2)至步骤(2-6)的方法，对目标物品进行相应操作，得到相对于图像坐标系，用机械手抓取目标物品的吸取点(x_s，y_s)以及机械手采用捏取方式抓取目标物时手指闭合的方向C₁′；

(4-2)取步骤(4-1)中得到的吸取点(x_s，y_s)以及机械手采用捏取方式抓取目标物品时手指闭合的方向C₁′，根据步骤(1)的彩色深度照相机的内参矩阵I_cam与彩色深度照相机光心相对机械臂基坐标系的外参矩阵将吸取点(x_s，y_s)转换至机械臂的机械臂基坐标系下得到方向C₁′转换至机械臂基坐标系下得到取操作台上方高度h处，该高度相对于机械臂基坐标系z^b轴坐标为则用计算机控制机械臂移动机械臂末端至处，调整机械臂末端位姿，令机械手手掌朝下，机械手坐标系z^h轴正方向与操作台台面垂直，绕机械手的z^h轴旋转机械手，令机械手手指的开合方向相对于机械臂基坐标系与同方向，进入步骤(4-3)；

(4-3)利用计算机控制机械手，首先将机械手的吸盘推出，利用吸盘把目标物体吸起，机械手两手指之间相对，控制机械手，闭合手指以捏取的方式抓取目标物品，当机械手相对的手指逐渐闭合时，设定触觉传感压力的阈值，观察触觉传感压力读数，若有触点的触觉传感压力大于设定阈值，认为目标物品被抓取成功抓取，进入步骤(4-4)，若有触点的触觉传感压力小于或等于设定阈值，则重新获取场景图像信息，返回步骤(4-1)；

(4-4)记录λ时间段内的阵列式触觉传感器的触觉传感压力读数，得到触觉时间序列m×n×T；

(4-5)采用步骤(3-2)中的方法，从步骤(4-4)记录的触觉序列m×n×T中提取触觉特征f_tac；

(4-6)将步骤(4-5)中得到的触觉特征f_tac输入到步骤(3)的可鉴别物品材质的触觉分类器中，触觉分类器输出鉴别出的材质；

(4-7)按照步骤(4-6)中鉴别出的目标物品材质信息，操控机械臂，带动机械手移动至回收相应材质的物品回收容器，控制机械手，释放抓取的目标物品，控制机械臂的机械手系统回到初始位置P₀，完成该目标物品的分类回收；

(4-8)遍历操作台上的所有目标物品，重复步骤(4-1)-步骤(4-7)，实现全部目标物品的分类回收。