[发明专利]一种立体内窥镜辅助检测方法、系统、装置及存储介质

说明书

本发明涉及医学辅助诊断技术领域，具体涉及一种立体内窥镜辅助检测方法、系统、装置及存储介质。其包括：实时获取待检测区域的目标图像；将目标图像输入到预先训练好的神经网络模型中得到3D标注视图，3D标注视图上包括用于表示病变区域的3D病变标注框，实时显示所述3D标注视图。病变检测模型用于得到病变信息，深度信息获取模型用于获取目标图像的深度信息；3D转换模块用于根据深度信息将目标图像转换成3D视图，并在3D视图上对病变信息进行标注，得到3D标注视图。这样将深度信息和病变区域检测分开处理，然后在进行融合得到3D标注视图，也可以提高数据处理的效率，使得3D标注视图能够实时显示，对医生的辅助诊断效果好，以帮助医生提高诊断效率。

技术领域

本发明涉及医学辅助诊断技术领域，具体涉及一种立体内窥镜辅助检测方法、系统、装置及存储介质。

背景技术

内窥镜可以经人体的天然孔道或者是经手术微创创口进入患者体内，为医生提供清晰、稳定的高质量画面来完成手术。立体内窥镜(也简称为3D内窥镜)是一种新型的立体成像内窥镜，能够直观反映观察区域的景深特征，利于诊断。

在3D内窥镜辅助诊断中，临床医生通过内窥镜观察患者体内情况判断诊断结果。但是人工分析存在以下显而易见的缺陷：(1)不够精确，医生仅能凭借经验去辨别，由于缺乏量化的标准，容易造成误诊；(2)不可避免地会出现人眼视力产生的误差及视力疲劳；(3)海量的图像信息容易产生漏诊；(4)图像显示以及病变区域显示都是二维平面的，不利于医生清楚的观察病变情况。

另外，传统计算机辅助诊断技术(Computer Aided Diagnosis，CAD)通过医学图像处理技术结合计算机分析计算来辅助发现病灶，需人工提取特征，存在泛化能力差、鲁棒性差、精度低等缺点，并且特征提取效率低，实时性差，在复杂的背景中很难使用。

发明内容

本发明主要解决的技术问题是现有的医学图像处理技术中人工提取特征来辅助确定病灶时工作效率低以及容易漏诊。

一种立体内窥镜辅助检测方法,包括：

实时获取待检测区域的目标图像；

将所述目标图像输入到预先训练好的神经网络模型中得到3D标注视图，所述3D标注视图上包括用于表示病变区域的3D病变标注框；

实时显示所述3D标注视图；

其中，所述神经网络模型包括病变检测模型、深度信息获取模型和3D转换模块；所述病变检测模型用于对输入的目标图像进行特征检测得到病变信息；所述深度信息获取模型用于获取输入的目标图像的深度信息；所述3D转换模块用于根据所述深度信息将所述目标图像转换成3D视图，并在所述3D视图上对所述病变信息进行标注，得到所述3D标注视图。

所述病变信息至少包括表示病变区域的病变标注框、该病变区域的病变类型和病变的概率；

在一种实施例中，所述神经网络模型还包括特征提取网络；

所述特征提取网络用于对输入的目标图像进行特征提取，并将提取的特征信息分别输入所述病变检测模型和深度信息获取模型中；

所述病变检测模型用于根据所述特征信息进行病变检测，得到病变类型、病变的概率以及用于表示病变区域的病变标注框；

所述深度信息获取模型用于根据所述特征信息得到所述目标图像的深度信息。

在一种实施例中，所述病变检测模型通过以下方法训练得到：

采用COCO预训练Faster RCNN目标检测模型的初始化参数得到初始检测模型；

获取多个病变图像并对其上的病变信息进行标注后以组成第一训练集；

采用迁移学习法利用所述第一训练集训练所述初始检测模型得到所述病变检测模型。