[发明专利]一种基于仪器追踪的外科手术质量客观自动化评估方法

权利要求书

1.一种基于仪器追踪的外科手术质量客观自动化评估方法，其特征在于，包括以下步骤：

S1、获取手术过程中的手术视频数据；

S2、利用视频实例分割网络对视频中每帧的出血区域、仪器实例进行实例分割，得到出血区域序列和仪器位置序列；

在视频实例分割网络分割完成后，利用手术仪器的形状特征，基于仪器尖端位置得到仪器尖端的位置序列数据；

S3、利用对手术阶段、手术动作进行判断的多标签分类网络对手术视频进行逐帧分类，得到手术动作序列及手术阶段序列；

所述的对手术阶段、手术动作进行判断的多标签分类网络包括第一CNN特征提取器和采用sigmoid激活函数的输出层；

S4、将手术阶段序列、手术动作序列、仪器位置序列、出血区域序列、仪器尖端位置序列数据进行整合，并将整合的数据输入分类模型或者回归模型，得到指标的评估结果；

所述的分类模型为对指标进行预测的多标签分类网络，包括第二CNN特征提取器和采用sigmoid激活函数的输出层；对指标进行预测的多标签分类网络输出灵活性、熟练性、安全性、效率、流程规划指标的评估结果；

所述的回归模型为对指标进行预测的回归网络，包括第二CNN特征提取器和一个具有5个节点的全连接层，该全连接层将每个节点的高维特征映射至1维，对指标进行预测的回归网络输出灵活性、熟练性、安全性、效率、流程规划指标的评估结果；

S5、基于灵活性、熟练性、安全性、效率、流程规划对应的指标得到手术质量客观评价结果。

2.根据权利要求1所述的一种基于仪器追踪的外科手术质量客观自动化评估方法，其特征在于，S2所述的视频实例分割网络为基于Transformer的视频实例分割网络模型或者基于RNN的实例分割网络模型。

3.根据权利要求2所述的一种基于仪器追踪的外科手术质量客观自动化评估方法，其特征在于，S2所述的视频实例分割网络为基于Transformer的视频实例分割网络模型时，其分割过程包括以下步骤：

对于图像序列（I₁，……，I_t），使用CNN层提取其特征，并将提取的图像特征沿时间维度拼接，同时，对图像序列计算其位置编码，并将位置编码与图像拼接特征融合，作为基于Transformer的视频实例分割网络模型的输入，根据基于Transformer的视频实例网络模型得到分割结果。

4.根据权利要求3所述的一种基于仪器追踪的外科手术质量客观自动化评估方法，其特征在于，当手术仪器上安装有深度传感器时，在S1中获取手术过程中的手术视频数据的同时，还获取深度数据，在步骤S2利用视频实例分割网络进行实例分割的过程中，首先对深度图序列和图像帧序列进行特征提取，并将提取的2种特征按顺序进行拼接，然后将拼接的特征与位置编码信息融合，然后基于视频实例分割网络进行实例分割。

5.根据权利要求4所述的一种基于仪器追踪的外科手术质量客观自动化评估方法，其特征在于，将提取的2种特征按顺序进行拼接的过程包括以下步骤：

假设有n帧，提取每帧的特征H*W*C₁和该帧的深度图的特征H*W*C₂，该帧两种特征拼接H*W*（C₁+C₂），得到n个H*W*（C₁+C₂）的特征，再将所有帧的2种特征按时间顺序拼接，得到n*H*W*（C₁+C₂）维的特征。

6.根据权利要求5所述的一种基于仪器追踪的外科手术质量客观自动化评估方法，其特征在于，当手术仪器上安装运动传感器时，在S1中获取手术过程中的手术视频数据的同时，还获取运动学数据；在步骤S2利用视频实例分割网络进行实例分割的过程中，首先对运动学数据、深度图序列和图像帧序列进行特征提取，将提取的多种特征按顺序进行拼接，然后将拼接的特征与位置编码信息融合，然后基于视频实例分割网络进行实例分割。