[发明专利]一种腹腔镜手术持镜机器人系统

权利要求书

1.一种腹腔镜手术持镜机器人系统，所述系统包括持镜机器人本体、所述持镜机器人本体的末端上的腹腔镜连接件，所述腹腔镜连接件上固定设有腹腔镜，其特征在于，所述系统还包括语音控制系统、遥控系统与智能追踪系统，其中，所述语音控制系统具有语音指令识别模块、所述遥控系统具有遥控指令处理模块，所述智能追踪系统具有获取腹腔镜手术图像模块、手术器械尖端检测与分割模块、获取手术器械尖端中心模块与获取腹腔镜控制速度模块；所述系统还包括持镜机器人逆运动学求解模块、控制持镜机器人运动模块；

所述获取腹腔镜手术图像模块的输入端为所述腹腔镜视野内的真实三维空间场景，所述获取腹腔镜手术图像模块的输出端与所述手术器械尖端检测与分割模块的输入端连接；所述手术器械尖端检测与分割模块的输出端与所述获取手术器械尖端中心模块的输入端连接；所述获取手术器械尖端中心模块的输出端与所述获取腹腔镜控制速度模块的输入端连接；所述获取腹腔镜控制速度模块的输出端与所述持镜机器人逆运动学求解模块输入端连接；所述持镜机器人逆运动学求解模块的输出端与所述控制持镜机器人运动模块的输入端连接，所述控制持镜机器人运动模块的输出端为所述持镜机器人的关节角的驱动信号，用于控制所述持镜机器人的运动；其中，所述语音指令识别模块、遥控指令处理模块分别与所述持镜机器人逆运动学求解模块的输出端连接；

每个包围盒使用目标边框中心坐标和目标边框尺寸表示，假设一个图像单元为I_cell，深度目标检测模型预测图像单元中边界框的四个坐标(x_t,y_t,w_t,h_t)和检测到的手术器械尖端属于各个类别的概率p＝(p₁,p₂,...,p_n)，n表示手术器械的种类数量，表达式如下：

(x_t,y_t,w_t,h_t,p)＝detection(I_cell)

式中，detection()表示深度目标检测模型；

假设检测到的手术器械尖端的边框中心坐标表示为(x_box,y_box)，宽度和高度表示为(w_box,h_box)，计算公式如下：

式中，(x_cell,y_cell)表示单元左上角坐标，(w_p,h_p)表示边框的先验宽度和高度，σ()表示sigmoid函数，表达式如下：

假设检测到的手术器械尖端的类别表示为c_box，表达式如下：

c_box＝argmax(p)；

所述手术器械尖端分割单元中先通过深度目标分割模型获取图像各个像素点的类别，进一步计算手术器械尖端的轮廓；

手术器械尖端分割的任务也即对图像中每个像素进行分类，每个像素的类别有两种：手术器械尖端类和背景类；

假设手术器械尖端包围盒的图像为I_box，宽度和高度为(w_box,h_box)，深度目标分割模型预测图像中每个像素点(i,j)∈I_box,i∈[1,w_box],j∈[1,h_box]属于手术器械尖端类的概率P＝{p_ij}，表达式如下：

P＝segmentation(I_box)

式中，segmentation()表示深度目标分割模型；

假设像素点(i,j)的类别表示为c_ij，表达式如下：

c_ij＝arg max(p_ij,1-p_ij)

利用各个像素点的类别对图像进行二值化，得到的图像为I_b，进一步使用Sobel算子计算图像的近似梯度G，以提取手术器械尖端的轮廓；

假设图像在水平方向和垂直方向的梯度分别为G_x和G_y，表达式如下：

G＝|G_x|+|G_y|

式中，*表示矩阵卷积运算，另外，梯度越大的像素点越有可能是边缘；

所述持镜机器人逆运动学求解模块用于完成腹腔镜末端到持镜机器人关节的逆运动学求解；其中包括持镜机器人末端到持镜机器人关节的逆运动学求解、腹腔镜末端到持镜机器人末端的逆运动学求解；

所述持镜机器人末端到持镜机器人关节的逆运动学求解包括：

正运动学方程为：

其中，[n_x,n_y,n_z]^T,[o_x,o_y,o_z]^T,[a_x,a_y,a_z]^T分别表示机器人末端沿着x,y,z轴的方向向量，[p_x,p_y,p_z]^T表示机器人末端的位置矢量，fkine()代表正运动学方程，ⁱT_j为i号坐标系到j号坐标系的齐次变换矩阵，θ₁,…,θ₆依次为机器人关节一到关节六的旋转角度；

根据，第1号坐标系到末端的齐次变换矩阵也可以表示为：

其中，a₂和a₃为连杆二和连杆三的偏置量，d₄和d₅连杆四和连杆五的长度；

根据第1号坐标系到末端的齐次变换矩阵的关系可求得4组对应的位置级逆运动学解，当已知当前时刻持镜机器人末端的齐次变换矩阵T_e，通过求解方法即可解算其对应的关节角数据θ₁,…,θ₆；

所述腹腔镜末端到持镜机器人末端的逆运动学求解；

腹腔镜末端到持镜机器人末端的逆运动学求解实际上就是个手眼标定问题，手眼标定系统中为持镜机器人末端坐标系从i时刻变换到j时刻的齐次变换矩阵，为腹腔镜末端坐标系从i时刻变换到j时刻的齐次变换矩阵，为i时刻腹腔镜末端坐标系与机器人末端坐标系之间的相对位姿变换矩阵；

根据坐标变换，和满足如下关系：

进一步地，式可简化为：

其中，^bR_a和^bt_a分别为^bΤ_a的旋转矩阵与平移向量，O_3×1＝[0,0,0]；

将式进行展开可得到腹腔镜末端到持镜机器人末端的运动学方程，即：

其中，I_3×3为三阶单位矩阵；

通过非线性优化方法很容易求解得到式中腹腔镜末端到持镜机器人末端的最优旋转矩阵将其代入式可得腹腔镜末端到持镜机器人末端最优的平移向量

于是，腹腔镜末端到持镜机器人末端的逆运动学求解结果为旋转矩阵以及平移向量