[发明专利]基于主-辅通道融合的机械臂抓取定位方法

权利要求书

1.一种基于主-辅通道融合的机械臂抓取定位系统，其特征在于，包括主通道语音模块、辅助通道手势模块、主-辅通道融合模块、计算机数据处理与通信模块和机械臂模块：

所述主通道语音模块用于提供连续性机械臂语音控制命令；

所述辅助通道手势模块用于获取kinect相机深度信息和RGB信息，并利用上述信息进行目标物体的指示定位；

所述主-辅通道融合模块用于对主通道语音信息和辅助通道手势指示信息进行信息融合，得到kinect下目标物体具体位置、属性信息；

所述计算机数据处理与通信模块用于将kinect下目标物体位置转换为机械臂下目标物体位置，并传输给机械臂控制模块进行目标物体抓取；

所述机械臂模块用于对机械臂下目标物体进行轨迹规划与抓取。

2.一种基于主-辅通道融合的机械臂抓取定位方法，其特征在于，所述方法包含以下步骤：

主-辅通道融合模块连接主通道语音模块、辅助通道手势模块和计算机数据处理与通信模块，计算机数据处理与通信模块连接机械臂模块；

主通道语音模块获取用户机械臂目标物体抓取指令信息；

辅助通道手势模块获取手势信息和物体检测信息确定目标物体位置和属性信息；

主-辅通道融合模块获取所述主通道语音模块的目标物体抓取指令信息和辅助通道手势模块信息，采取主-辅通道融合算法确定的目标物体位置和属性信息，融合得到目标物体在kinect下确切位置；

根据所述目标物体在kinect下确切位置和机械臂-kinect位置关系获取目标物体在机械臂坐标系下位姿；

机械臂根据所述目标物体在机械臂坐标系下位姿进行机械臂轨迹规划并执行抓取。

3.根据权利要求2所述的基于主-辅通道融合的机械臂抓取定位方法，其特征在于，所述辅助通道手势模块获取手势信息和物体检测信息确定目标物体位置和属性信息包括：基于深度学习的指示行为目标选择方法、基于深度学习的目标检测方法、指示行为结合目标检测的目标定位方法。

4.根据权利要求3所述的基于主-辅通道融合的机械臂抓取定位方法，其特征在于，所述基于深度学习的指示行为目标选择方法包括：

根据所述的kinect相机深度信息和RGB信息，基于深度学习实时检测21个手部关键点坐标信息；

根据所述的21个手部关键点坐标信息，选择食指指尖和末端关键点指示方向得到目标物体方向；

根据所述的指尖-末端关键点延长方向，发布kinect坐标系下该直线方向tf变换。

5.根据权利要求3所述的基于主-辅通道融合的机械臂抓取定位方法，其特征在于，所述基于深度学习的目标检测方法包括：

根据所述的kinect相机深度信息和RGB信息，使用YOLO v3网络结构训练数据集，获取相机视野范围内待选择目标物体位置和属性信息，发布kinect坐标系下tf变换。

6.根据权利要求3所述的基于主-辅通道融合的机械臂抓取定位方法，其特征在于，所述指示行为结合目标检测的目标定位方法包括：

根据所述直线方向和待选择目标物体位置信息，直线方向与待选择目标物体位置重合确定目标物体，并存储该目标物体属性信息。

7.根据权利要求2所述的基于主-辅通道融合的机械臂抓取定位方法，其特征在于，所述采取主-辅通道融合算法确定的目标物体位置和属性信息包括：

A、根据所述目标物体位置和属性信息建立任务指令结构，匹配机械臂控制任务，建立连续性任务指令存储结构；

B、根据所述主通道语音通道信息和并发性辅助手势通道信息，提取主通道目标物体属性和机械臂控制动作，提取目标物体具体三维位置和属性；

C、根据所述主-辅通道信息，在融合时间阈值内填充任务控制指令，填充包括主通道机械臂控制动作、主通道目标物体属性与辅助通道目标物体属性匹配、辅助通道目标物体三维位置；

D、根据所述任务控制指令填充情况，进行任务指令存储结构更新。