[发明专利]一种立体内窥镜辅助检测方法、系统、装置及存储介质

权利要求书

1.一种立体内窥镜辅助检测方法,其特征在于，包括：

实时获取待检测区域的目标图像；

将所述目标图像输入到预先训练好的神经网络模型中得到3D标注视图，所述3D标注视图上包括用于表示病变区域的3D病变标注框；

实时显示所述3D标注视图；

其中，所述神经网络模型包括病变检测模型、深度信息获取模型和3D转换模块；所述病变检测模型用于对输入的目标图像进行特征检测得到病变信息；所述深度信息获取模型用于获取输入的目标图像的深度信息；所述3D转换模块用于根据所述深度信息将所述目标图像转换成3D视图，并在所述3D视图上对所述病变信息进行标注，得到所述3D标注视图；

所述神经网络模型中，在训练好所述病变检测模型和所述深度信息获取模型之后，还包括：

获取所述病变检测模型或所述深度信息获取模型的精度、平均精度和速度，用以验证所述病变检测模型或所述深度信息获取模型的性能是否满足要求，具体包括：

通过测试集来测试训练好的模型对新样本的识别能力以及识别的实时性；再根据混淆矩阵，计算出精度P和召回率R，绘制出P-R曲线；在绘制出平滑的P-R曲线后，通过积分的方法计算平滑曲线下方的面积作为最终的AP值，所述AP值用于计算出召回率；若当前训练好的神经网络模型评估结果达到要求，保留该神经网络模型的参数；若评估结果未能满足要求，调整超参数、网络结构或者增加训练样本的数量进行重新训练，直到模型满足要求为止；

所述病变检测模型通过以下方法训练得到：

采用COCO预训练Faster RCNN目标检测模型的初始化参数得到初始检测模型；

获取多个病变图像并对其上的病变信息进行标注后以组成第一训练集；

采用迁移学习方法利用所述第一训练集训练所述初始检测模型得到所述病变检测模型；

所述病变检测模型训练过程中还采用分类损失函数，用于针对检测病变类型，用于分类癌变、息肉或糜烂；且所述病变检测模型训练时采用边框回归，用于让预测的病变标注达到最接近GT框的位置；

所述深度信息获取模型通过以下方法训练得到：

获取RGB图像和与之对应的深度图像组成RGB-D图像对；

获取多个RGB-D图像对组成第二训练集；

采用迁移学习法利用所述第二训练集训练初始化后的深度信息估计模型得到所述深度信息获取模型；

所述深度信息获取模型还使用NYU Depth数据集通过监督学习的训练方法训练得到，监督学习用于训练样本。

2.如权利要求1所述的辅助检测方法,其特征在于，所述病变信息至少包括表示病变区域的病变标注框、该病变区域的病变类型和病变的概率；

所述神经网络模型还包括特征提取网络；

所述特征提取网络用于对输入的目标图像进行特征提取，并将提取的特征信息分别输入所述病变检测模型和深度信息获取模型中；

所述病变检测模型用于根据所述特征信息进行病变检测，得到表示病变区域的病变标注框、该病变区域的病变类型和病变的概率；

所述深度信息获取模型用于根据所述特征信息得到所述目标图像的深度信息。