[发明专利]基于增强现实的介入机器人无接触遥操系统及标定方法

权利要求书

1.一种基于增强现实的介入机器人无接触遥操系统，其特征在于，包括头戴式AR设备、PC1、PC2、光栅解调仪、磁场发生器、插入管、冗余机械臂、驱动单元、连续体机器人、LED、内窥镜相机、形状传感器和电磁传感器，所述头戴式AR设备与PC1相连接，所述PC2分别与光栅解调仪、磁场发生器、冗余机械臂和驱动单元相连接；

所述形状传感器、电磁传感器、连续体机器人、插入管、冗余机械臂、驱动单元、内窥镜相机及LED组成柔性机器人；

所述头戴式AR设备将柔性机器人模型叠加到现实场景，所述柔性机器人模型叠加的对象为连续体机器人和内窥镜插入管部分导管，所述连续体机器人和内窥镜插入管部分导管总长度由形状传感器的长度所决定；

所述系统的工作流程如下：

步骤1：PC1利用术前CT扫描的二维平面图重建腔内解剖结构三维模型，设置内窥镜影像在AR设备内的最佳观测位置；

步骤2：对系统进行标定；

步骤3：PC2利用形状传感系统测量的波长对柔性机器人的形状进行重建，根据步骤2的标定信息，把重建后的形状变换到AR设备坐标系，并把变换后的数据以及内窥镜影像通过无线通信发送给PC1；

步骤4：AR设备与PC1进行实时通信，医生佩戴AR设备；

步骤5：医生通过手势识别对柔性机器人的运动进行控制；

所述AR设备和电磁跟踪系统的标定转化为AX＝XB的求解问题，高效的求解了二者的变换关系，具体方法如下：

首先，将六自由度电磁传感器固定在带有定位标识码的无磁标定板上；然后在AR设备的视场中移动标定板，利用AR设备的相机对定位标识码的位姿进行估计，并记录标识码和电磁传感器的位姿；最后，定位标识码的姿态估计结果和电磁传感器的位姿可用于构建如下等式：

其中，是AR设备和定位标识码的变换关系，是电磁传感器与定位标识码的变换关系，是AR设备和电磁跟踪系统基坐标系的变换关系，是电磁跟踪系统基坐标系和电磁传感器的变换关系;表示不同组别的数据；式(1)和(2)可以表示为：

如果令可得到：

AX＝XB  (5)

通过求解AX＝XB即可得到X的值。

2.根据权利要求1所述的一种基于增强现实的介入机器人无接触遥操系统，其特征在于，所述步骤2包括AR设备与电磁跟踪系统的标定、AR设备与机械臂的标定、AR设备定与解剖结构的标定、形状传感器与电磁传感器的标定和AR设备与世界参考系的标定；所述步骤4在AR设备内医生可观测到柔性机器人三维形状和腔内解剖三维模型在现实场景的叠加信息，医生实时观看到内窥镜的影像。

3.根据权利要求1所述的一种基于增强现实的介入机器人无接触遥操系统，其特征在于，所述步骤5中的AR设备识别医生的手势并计算腕部相对于AR设备的位置，把不同的手势解析为不同的标志位，柔性机器人接收到标志位后，根据不同的标志位进行相应的运动。

4.根据权利要求3所述的一种基于增强现实的介入机器人无接触遥操系统，其特征在于，医生手的腕部靠近AR设备时，机器人前进/正向旋转/向左弯曲。

5.根据权利要求1所述的一种基于增强现实的介入机器人无接触遥操系统，其特征在于，所述电磁传感器采用六自由度，通过重新定义的虚拟平面标定电磁传感器坐标系与形状传感器坐标系的关系。

6.一种基于增强现实的介入机器人无接触遥操系统的标定方法，其特征在于，所述方法包括如权利要求1-5中任一项的一种基于增强现实的介入机器人无接触遥操系统，所述方法包括如下步骤：

S1：CT扫描腔内解剖，获取二维扫描图；

S2：用2D CT图像重建解剖结构的3D虚拟模型，作为目标点云P；

S3：柔性机器人在介入的腔体入口处进行初步的移动，用连续体机器人末端的电磁传感器采集部分解剖壁面的点云数据，作为原始云G；

S4：通过将点云G从电磁跟踪系统参考系转到AR设备的参考系，作为点云Q；

S5：利用ICP算法对点云P和Q进行匹配，通过迭代求得AR设备参考系下解剖结构3D模型与实际解剖的变换关系。