[发明专利]一种基于3D打印的盆腔仿真微创手术视觉导航验证方法

权利要求书

1.一种基于3D打印的盆腔仿真微创手术视觉导航验证方法，其特征在于：包括如下步骤，

S1、根据患者CT影像分割骨盆区域，重建骨盆3D模型，将3D模型导入3D打印设备，打印获得骨盆打印模型，而后为3D模型涂上各种手术血肉颜色，形成具有纹理的仿真骨盆模型；

S2、模拟真实手术过程中内窥镜的运动，利用双目相机拍摄在仿真骨盆模型进行模拟微创手术的内窥镜视频；

S3、对双目相机进行单目相机标定和立体标定，获得左右相机的内参数矩阵、左右相机的畸变矩阵、相机拍摄图像的宽高和左右内窥镜相对姿态；

S4、根据3D图形透视投影原理，将左右相机的内参数矩阵转换成左右视图的投影矩阵，而后将步骤S1重建的骨盆3D模型分别按左右视图的模型视图投影矩阵渲染到屏幕上；其中，左右视图的模型视图投影矩阵由左右视图的投影矩阵与左右相机的视图矩阵相乘得到；

S5、在视频里的手术开始阶段，利用基于颜色一致性的配准原理估计左视图的初始视图矩阵，使步骤S1重建的骨盆3D模型完全重叠到手术画面的无畸变图像中的仿真骨盆模型，然后内窥镜开始运动，基于立体视觉的跟踪算法来估计相机运动姿态，从而更新骨盆3D模型的视图矩阵，通过观察骨盆3D模型在左右视图与仿真模型的重叠程度来验证跟踪算法的准确性；

所述利用基于颜色一致性的配准原理估计左视图的初始视图矩阵，即：

通过最小化颜色一致性的能量方程误差来估计左视图的初始视图矩阵M_left

其中，I_R-left、I_G-left、I_B-left、I_R-right、I_G-right、I_B-right分别为左右相机图像畸变校正后的无畸变图像RGB，K_left、K_right分别是左右相机的内参数矩阵，分别为三维点在左右相机无畸变图像投影的颜色RGB平均值，P_i为顶点在世界坐标系的齐次坐标，z_left、z_right分别为三维点在左右相机坐标系所对应的Z值，M_L2R为左右相机的关系矩阵，Ω为可视点的集合。

2.根据权利要求1所述的一种基于3D打印的盆腔仿真微创手术视觉导航验证方法，其特征在于：所述步骤S4中，左右视图的投影矩阵的采用下式计算，

其中，f_u,f_v,u₀,v₀,w,h分别取自步骤S3标定左右相机的内参数矩阵和相机拍摄图像的宽W、高H，n为近裁剪平面距离，f远裁剪平面距离，I＝left,right，left表示左相机，right表示右相机。

3.根据权利要求2所述的一种基于3D打印的盆腔仿真微创手术视觉导航验证方法，其特征在于：所述步骤S5具体实现过程如下，

S51、由于重建的骨盆3D模型是由多个三角片组成，对每个三角片进行编号，按序号将三角片渲染成不同颜色，形成一个带颜色的3D模型，通过OpenGL的3D图形渲染引擎投影几何关系，生成2D投影图像I_project，I_project是由W*H像素点组成的，并且每个像素点的颜色RGB是已知的；

S52、根据投影变换原理，求出骨盆3D模型的顶点在屏幕投影的坐标值(u,v)^T：

式中，P_i为顶点在世界坐标系的齐次坐标，M为视图矩阵，P为投影矩阵；

S53、将三角片的三个顶点分别按投影变换关系投影到二维平面，若投影区域包含一个或多个整型像素点，采用搜寻算法，输出第一个最先被搜寻到的整型像素点(u,v)^T；判断(u,v)^T在I_project对应颜色RGB与其颜色模型上的三角片颜色是否一致；若是一致的，则认为三角片上的三个顶点在当前姿态为可视的；反之不是；

找出双目相机共同的可视点，共同的可视点需在左右相机都能被观测到，并记可视点的集合为Ω；

S54、对录制的视频采用下式进行畸变校正，获得无畸变图像的视频：

其中，为视频帧畸变图像的像素点坐标，k₁,k₂,k₃为左右相机的径向畸变系数，p₁,p₂为左右相机的切向畸变系数；

S55、利用基于颜色一致性的配准原理估计左视图的初始视图矩阵：

通过最小化颜色一致性的能量方程误差来估计M_left

其中，I_R-left、I_G-left、I_B-left、I_R-right、I_G-right、I_B-right分别为左右相机图像畸变校正后的无畸变图像RGB，K_left、K_right分别是左右相机的内参数矩阵，分别为三维点在左右相机无畸变图像投影的颜色RGB平均值，P_i为顶点在世界坐标系的齐次坐标，z_left、z_right分别为三维点在左右相机坐标系所对应的Z值，M_L2R为左右相机的关系矩阵；通过优化上述的能量方程，当能量方程收敛时，可视点投影的像素点颜色RGB之差的平方和最小，此时3D模型与真实的仿真模型完全重叠；

S56、利用跟踪算法估计相机轨迹，取相邻的两帧视频来估计相机的姿态，利用参考帧来估计相机在当前帧的姿态，先用姿态矩阵表示两帧相机姿态关系：M^k＝ΔM*M^k-1，M^k、M^k-1分别表示当前帧、参考帧的视图矩阵，ΔM为待估计视图矩阵；优化ΔM使得真实仿真模型的顶点在参考帧和当前帧的投影点灰度值误差的最小化，根据ΔM来更新虚拟的3D骨盆模型，观测3D模型与仿真模型的重叠度来验证跟踪算法的准确性。