[发明专利]辅助手术系统及3D模型与手术患者自动重合匹配的方法

权利要求书

1.增强现实辅助手术系统，其特征在于，包括：

3D模型文件加载模块，用于加载3D模型文件；

3D模型文件呈现模块，基于AR眼镜通过AR技术呈现3D模型；所述的眼镜中还带有摄像头；

档位选择模块，用于提供3D模型与手术患者自动重合匹配和手动重合匹配的模式选择；以及提供手动重合匹配的模式下的空档选择档、模型位置移动档、模型旋转档、模型大小调节档、部件选择档、透明度调整档、模型颜色调整档的选择，并根据用户的选择切换到对应的模块；

自动匹配重合模块，用于在自动重合匹配模式下，将3D模型与手术患者进行自动重合匹配；所述自动匹配重合模块将3D模型与手术患者进行自动重合匹配的过程包括以下步骤：

(A)针对胸腔部位的情况，即在手术患者上设置两个乳头标记点，并画出一条黑色直线即画出胸骨中线的情况：

黑色直线定位：

a1、连续读取AR眼镜摄像头捕捉视频中的二维图片，从二维图片中点开始按螺旋形循环每一个像素点，直到找到第一个黑色的像素点，记为点A，

b1、基于找到的点A，将点A坐标记录到堆栈数组，然后以点A为圆心，寻找半径为r个像素的点颜色为黑色的像素点，以此循环找下去，直到所有黑色像素点连接成的直线长度超过l，以此判定为直线确定成功；

所述的直线长度l是根据摄像头拍摄照片的分辨率进行标准换算后得到的；

如果循环寻找黑色像素点的过程中断，则从上一次螺旋搜索记录的堆栈点取出最后一个点的坐标，继续螺旋搜索路径，继续寻找黑色像素点的点A，直到直线确定成功；

标记点定位：

c1、根据已经找到的直线，取直线两端，分两次向直线方向进行半圆搜索乳头标记点，直到找到两个黑色圆形标记的圆心，即乳头标记点；

d1、将乳头标记点中的一个标记点及一条直线作为特征，通过与3D模型上的对应乳头点及胸骨进行匹配，实现3D模型与手术患者进行自动重合匹配；

(B)针对腹腔部位的情况，即在手术患者上设置一个肚脐标记点，并画出一条黑色直线即画出胸骨中线的情况：

黑色直线定位：

a2、连续读取AR眼镜摄像头捕捉视频中的二维图片，从二维图片中点开始按螺旋形循环每一个像素点，直到找到第一个黑色的像素点，记为点A，

b2、基于找到的点A，将点A坐标记录到堆栈数组，然后以点A为圆心，寻找半径为r个像素的点颜色为黑色的像素点，以此循环找下去，直到所有黑色像素点连接成的直线长度超过l，以此判定为直线确定成功；

所述的直线长度l是根据摄像头拍摄照片的分辨率进行标准换算后得到的；

如果循环寻找黑色像素点的过程中断，则从上一次螺旋搜索记录的堆栈点取出最后一个点的坐标，继续螺旋搜索路径，继续寻找黑色像素点的点A，直到直线确定成功；

标记点定位：

c2、根据已经找到的直线向两端延长搜索肚脐对应的标记点，找到黑点后，寻找半径为r个像素的点颜色为黑色的点，直到找到一个点其周围r个像素的点全是判定为黑色的点，视为肚脐标记点中心点；

d2、将确定的肚脐标记点及一条直线作为特征，通过与3D模型上的对应肚脐及胸骨进行匹配，实现3D模型与手术患者进行自动重合匹配；

(C)针对胸腔、腹腔部位的情况，即在手术患者上设置一个肚脐标记点和两个乳头标记点，并画出一条黑色直线即画出胸骨中线的情况：

黑色直线定位：

a3、连续读取AR眼镜摄像头捕捉视频中的二维图片，从二维图片中点开始按螺旋形循环每一个像素点，直到找到第一个黑色的像素点，记为点A，

b3、基于找到的点A，将点A坐标记录到堆栈数组，然后以点A为圆心，寻找半径为r个像素的点颜色为黑色的像素点，以此循环找下去，直到所有黑色像素点连接成的直线长度超过l，以此判定为直线确定成功；

所述的直线长度l是根据摄像头拍摄照片的分辨率进行标准换算后得到的；

如果循环寻找黑色像素点的过程中断，则从上一次螺旋搜索记录的堆栈点取出最后一个点的坐标，继续螺旋搜索路径，继续寻找黑色像素点的点A，直到直线确定成功；

标记点定位：

c3、根据已经找到的直线向两端延长搜索肚脐对应的标记点，找到黑点后，寻找半径为r个像素的点颜色为黑色的点，直到找到一个点其周围r个像素的点全是判定为黑色的点，视为肚脐标记点中心点；

d3、根据已经找到的直线和肚脐的标记点，取直线上、与肚脐对向的直线端点向直线方向做半圆形搜索，直到找到两个或者任意一个黑色圆形标记的圆心，即乳头标记点；

如果步骤c3中没有找到肚脐标记点，则直接在直线两端，分两次进行半圆搜索乳头标记点，直到找到两个黑色圆形标记的圆心，即乳头标记点；

E3、将确定的肚脐标记点、乳头标记点共计三个标记点中的一个标记点，以及一条直线作为特征，通过标记点在3D模型上的对应乳头点或肚脐点，以及胸骨进行匹配，实现3D模型与手术患者进行自动重合匹配；

(D)针对头部的情况，即在手术患者上设置一个嘴巴标记点和两个眼睛标记点，并画出一条黑色直线即画出鼻骨中线的情况：

黑色直线定位：

a4、连续读取AR眼镜摄像头捕捉视频中的二维图片，从二维图片中点开始按螺旋形循环每一个像素点，直到找到第一个黑色的像素点，记为点A，

b4、基于找到的点A，将点A坐标记录到堆栈数组，然后以点A为圆心，寻找半径为r个像素的点颜色为黑色的像素点，以此循环找下去，直到所有黑色像素点连接成的直线长度超过l，以此判定为直线确定成功；

所述的直线长度l是根据摄像头拍摄照片的分辨率进行标准换算后得到的；

如果循环寻找黑色像素点的过程中断，则从上一次螺旋搜索记录的堆栈点取出最后一个点的坐标，继续螺旋搜索路径，继续寻找黑色像素点的点A，直到直线确定成功；

标记点定位：

c4、根据已经找到的直线向两端延长搜索嘴巴对应的标记点，找到黑点后，寻找半径为r个像素的点颜色为黑色的点，直到找到一个点其周围r个像素的点全是判定为黑色的点，视为嘴巴标记点中心点；

d4、根据已经找到的直线和嘴巴的标记点，取直线上、与嘴巴对向的直线端点向直线方向做半圆形搜索，直到找到两个或者任意一个黑色圆形标记的圆心，即眼睛标记点；

如果步骤c4中没有找到嘴巴标记点，则直接在直线两端，分两次进行半圆搜索眼睛标记点，直到找到两个黑色圆形标记的圆心，即眼睛标记点；

e4、将确定的嘴巴标记点、眼睛标记点共计三个标记点中的一个标记点，以及一条直线作为特征，通过标记点在3D模型上的对应眼睛点或嘴巴点，以及鼻骨进行匹配，实现3D模型与手术患者进行自动重合匹配；

手动匹配重合模块，用于在手动重合匹配模式下，将3D模型与手术患者进行手动重合匹配；手动匹配重合模块包括：

空档选择子模块，用于除了切换挡位命令外，不再响应任何其他命令，将3D模型固定不动；

模型位置移动子模块，通过识别人手姿态实现3D模型基于AR下的三维移动；

模型旋转子模块，通过识别人手姿态实现3D模型基于AR下的三维旋转；

模型大小调节子模块，通过识别人手姿态实现3D模型基于AR下大小调整；

3D模型部件选择子模块，通过识别人手姿态实现3D模型中各个组成部件的选择；

透明度调整子模块，通过识别人手姿态实现3D模型透明度的调整；

模型颜色调整子模块，通过识别人手姿态实现3D模型颜色的调整。