[发明专利]移动目标追踪系统及混合现实手术辅助系统

权利要求书

1.基于混合现实设备的移动目标追踪系统，用来进行手术器械类移动目标识别并追踪，

其组成包括：

用来采集和分帧传输包含目标物体视频的视频采集模块；

在当前图片帧中提取追踪目标选区的特征点选取模块；

对提取出的当前图片帧中的追踪目标选区进行处理的图像处理模块；

应用基于逻辑硬件的分水岭追踪算法和TLD追踪算法对选区内的追踪目标进行识别的目标检测模块；

对包含追踪目标的当前图片帧中的追踪目标的位置坐标转换成世界坐标的数据处理模块；

基于追踪目标的检测和实际位置的实时坐标反馈对追踪模块进行控制的控制模块；

用于跟踪目标物体的跟踪模块；

用于显示追踪目标运动轨迹的显示模块；

所述视频采集模块连接所述特征点选取模块，所述特征点选取模块连接所述图像处理模块和所述数据处理模块，所述图像处理模块连接目标检测模块，所述目标检测模块和所述数据处理模块连接控制模块，所述控制模块分别通信连接所述跟踪模块和所述显示模块；

其特征在于：

基于混合现实设备的移动目标追踪系统执行的步骤如下：

步骤S1:视频采集模块采集包含目标物体的视频，并以30帧/秒的速度将每一帧图像传输到特征点选取模块；

步骤S2:所述特征点选取模块对视频采集模块采集的包含追踪目标的图片帧，进行初级特征选取，并在当前图片帧中生成包含追踪目标特征的选框；

步骤S3: 所述图像处理模块对当前图片帧中包含追踪目标的选框内图像进行灰度化处理,然后再将灰度化处理后的图像进行二值化处理；

步骤S4:目标检测模块采用基于逻辑硬件的分水岭追踪算法对图像处理模块处理后的，当前图片帧中包含追踪目标的选框内的图像进行斑点圆度、突度、离心率的参数设定，进一步提取当前图片帧中包含追踪目标的选框内的图像特征；

步骤S5：所述目标检测模块对分水岭追踪算法进一步提取的当前图片帧中包含追踪目标的选框内的图像特征与在所述特征点选取模块中选取的当前图片帧中包含追踪目标的选框内的初级特征进行叠加，增加特征值，使当前图片帧中的追踪目标具有多个捕捉特征；

步骤S6: 所述目标检测模块通过基于逻辑硬件的TLD追踪算法对当前图片帧中包含追踪目标多个捕捉特征的选框进行检测识别；

步骤S7: 数据处理模块，计算当前图片帧中包含追踪目标的选框中心点的世界坐标，并将坐标分别传输到控制模块和显示模块，首先，所述数据处理模块通过显示模块获取屏幕左上角顶点为相机初始坐标原点，基于选定好的相机初始坐标原点，计算当前图片帧中包含追踪目标的选框中心点的相机坐标，再将当前图片帧中包含追踪目标的选框中心点的相机坐标系转换成世界坐标系，并计算当前图片帧中包含追踪目标的选框中心点在世界坐标中的坐标，并将当前图片帧中包含追踪目标的选框中心点的世界坐标分别传输到控制模块和显示模块中；

步骤S8:控制模块基于当前图片帧中包含追踪目标的选框中心点的世界坐标，预测下一图片帧中包含追踪目标的选框中心点的所在位置，并根据每一个图片帧中包含追踪目标的选框中心点的实际位置，对预测位置进行修正，当前图片帧中包含追踪目标的选框中心点的预测位置与实际位置重合时，控制模块将当前图片帧中包含追踪目标的选框中心点的实际位置坐标传输到数据处理模块进行世界坐标转换，数据处理模块再将经过坐标转换后的当前图片帧中包含追踪目标的选框中心点的世界坐标传输到显示模块；

步骤S9:所述控制模块控制跟踪模块对当前图片帧中包含追踪目标多个捕捉特征的选框进行追踪；

所述显示模块为可加载三维模型的MR智能设备；

所述视频采集模块在进行包含追踪目标的视频采集前分别与MR智能设备、目标物体做初始高度和初始位置标定，标定步骤为：

S11、先确定MR智能设备在使用时，距离追踪目标物体的垂直高度H；

S12、通过红外线传感器，将视频采集模块与追踪目标物体之间的垂直高度设定成H，标定好的高度值H传输到数据处理模块；

S13、再将视频采集模块的焦点对准追踪目标物体的中心点，确定追踪目标的初始位置；

所述MR智能设备包含轨迹标注模块，所述轨迹标注模块可以在MR智能设备加载的三维模型上标注直线或射线，通过标记直线或射线，预判手术器械操作后的效果。