[发明专利]基于深度神经网络的柔性臂智能感知与控制方法和系统

权利要求书

1.一种基于深度神经网络的柔性臂智能感知与控制方法，其特征在于，包括:

训练步骤：采集训练样本，通过训练样本对深度神经网络进行训练，得到训练网络；

测试步骤：采集目标图片，使用训练网络对目标图片进行柔性臂姿态学习，得到柔性臂控制结果，根据柔性臂控制结果对柔性臂进行操控；

所述测试步骤包括：

第一网络采集步骤：采集现场图片，将现场图片输入第一网络，通过第一网络获取目标在图像中所处的目标位置；

坐标变换步骤：将目标位置进行坐标变换，得到目标在世界坐标系下的三维坐标；

第二网络计算步骤：根据三维坐标，确定柔性臂姿态，将柔性臂姿态输入第二网络，通过第二网络得到执行机构SMA的执行长度；

柔性臂操控步骤：根据得到的执行机构SMA的执行长度，对指定执行机构SMA进行通电，操控柔性臂。

2.根据权利要求1所述的基于深度神经网络的柔性臂智能感知与控制方法，其特征在于，所述训练步骤包括：

定位训练步骤：采集目标定位训练样本，使用目标定位训练样本，对目标定位深度神经网络进行训练，对输入的图像数据中获取目标在图像中所处的目标位置，得到第一网络；

姿态训练步骤：采集目标运动学模型解算训练样本，使用目标运动学模型解算训练样本，对运动学模型解算神经网络进行训练，根据目标位置计算执行机构SMA的执行长度，得到第二网络。

3.根据权利要求2所述的基于深度神经网络的柔性臂智能感知与控制方法，其特征在于，所述第一网络采用卷积神经网络；

所述对目标定位深度神经网络进行训练选用的损失函数包括坐标误差、交并比误差和分类误差。

4.一种基于深度神经网络的柔性臂智能感知与控制系统，其特征在于，包括:

训练模块：采集训练样本，通过训练样本对深度神经网络进行训练，得到训练网络；

测试模块：采集目标图片，使用训练网络对目标图片进行柔性臂姿态学习，得到柔性臂控制结果，根据柔性臂控制结果对柔性臂进行操控；

所述测试模块包括：

第一网络采集模块：采集现场图片，将现场图片输入第一网络，通过第一网络获取目标在图像中所处的目标位置；

坐标变换模块：将目标位置进行坐标变换，得到目标在世界坐标系下的三维坐标；

第二网络计算模块：根据三维坐标，确定柔性臂姿态，将柔性臂姿态输入第二网络，通过第二网络得到执行机构SMA的执行长度；

柔性臂操控模块：根据得到的执行机构SMA的执行长度，对指定执行机构SMA进行通电，操控柔性臂。

5.根据权利要求4所述的基于深度神经网络的柔性臂智能感知与控制系统，其特征在于，所述训练模块包括：

定位训练模块：采集目标定位训练样本，使用目标定位训练样本，对目标定位深度神经网络进行训练，对输入的图像数据中获取目标在图像中所处的目标位置，得到第一网络；

姿态训练模块：采集目标运动学模型解算训练样本，使用目标运动学模型解算训练样本，对运动学模型解算神经网络进行训练，根据目标位置计算执行机构SMA的执行长度，得到第二网络。

6.根据权利要求5所述的基于深度神经网络的柔性臂智能感知与控制系统，其特征在于，所述第一网络采用卷积神经网络；

所述对目标定位深度神经网络进行训练选用的损失函数包括坐标误差、交并比误差和分类误差。