[发明专利]机械臂控制方法、装置及神经网络模型训练方法、装置

权利要求书

1.一种机械臂控制方法，其特征在于，所述方法包括：

获取第一图像传感器当前时刻采集的包括目标物体的目标图像及目标机械臂的关节角度；

将所述目标图像及所述关节角度输入预先训练完成的深度神经网络模型进行检测，得到所述目标机械臂的目标状态信息，其中，所述目标状态信息为标识所述目标机械臂所需执行的目标动作的信息，所述目标状态信息包括目标关节角度及预设操作标签中的至少一个，所述目标关节角度标识所述目标机械臂所需执行的目标动作为运动至目标关节角度对应的状态，所述预设操作标签标识所述目标机械臂所需执行的目标动作为对目标物体进行预设操作；

控制所述目标机械臂执行所述目标动作。

2.如权利要求1所述的方法，其特征在于，当所述目标状态信息为目标关节角度时，所述控制所述目标机械臂执行所述目标动作的步骤，包括：

控制所述目标机械臂运动至所述目标关节角度对应的状态。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

返回所述获取第一图像传感器当前时刻采集的包括目标物体的目标图像及目标机械臂的关节角度的步骤。

4.如权利要求1所述的方法，其特征在于，当所述目标状态信息为预设操作标签时，所述控制所述目标机械臂执行所述目标动作的步骤，包括：

控制所述目标机械臂对所述目标物体进行预设操作。

5.如权利要求1所述的方法，其特征在于，所述第一图像传感器安装于所述目标机械臂末端或安装于环境中预设位置。

6.如权利要求1-5任一项所述的方法，其特征在于，所述深度神经网络模型的训练方式，包括：

控制训练机械臂执行训练动作；

在所述训练机械臂执行所述训练动作过程中，按照预定规则获取训练样本，其中，所述训练样本包括：第二图像传感器采集的包括目标物体的图像样本、采集所述图像样本时所述训练机械臂的所有关节角度及标注数据，所述标注数据为标识采集所述图像样本时所述训练机械臂所需执行的训练动作的信息；

基于所述训练样本对预先构建的初始深度神经网络模型进行训练，得到所述深度神经网络模型。

7.如权利要求6所述的方法，其特征在于，所述标注数据为所述训练机械臂的目标关节角度及预设操作标签中的至少一个。

8.如权利要求6所述的方法，其特征在于，所述控制训练机械臂执行训练动作的步骤，包括：

通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作；

或，

在实际环境中，控制训练机械臂执行训练动作。

9.如权利要求8所述的方法，其特征在于，所述通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作的步骤，包括：

在虚拟环境中设置所述目标物体的模型；

通过预设设备控制所述训练机械臂的模型对所述目标物体的模型进行操作。

10.如权利要求8所述的方法，其特征在于，所述在实际环境中，控制训练机械臂执行训练动作的步骤，包括：

将所述目标物体放置在预定位置；

设置所述训练机械臂对所述目标物体进行操作的任务；

控制所述训练机械臂执行所述任务，以对所述目标物体进行所述操作。