[发明专利]一种基于机器学习的内镜下辅助活检的系统及方法

权利要求书

1.一种基于机器学习的内镜下辅助活检的系统，其特征在于，包括：

图像采集模块，用于获取内镜检查过程中实时采集的待检测部位视频帧；

病灶浸润深度识别模块，用于利用病灶浸润深度识别模型识别待检测部位视频帧的病灶区域，并对病灶区域的不同分化类型进行浸润深度打分，得到具有不同浸润深度的打分矩阵的掩码图像；其中，所述病灶浸润深度识别模型使用多组数据训练获得，所述每一组数据均包括包含有病灶区域的内镜图像以及用于标注该内镜图像中病灶区域的不同分化类型的标注信息；

所述病灶浸润深度识别模块包括：图像标注单元，所述图像标注单元，用于接收针对病灶区域的不同病灶分化类型的浸润深度的标注信息，基于该标注信息对内镜图像中的病灶区域的不同分化类型进行浸润深度标注；

对图像中病灶区域的不同分化类型的进行标注包括：

将病理标本组织连续切片图像，依据病变纵向病理切片结果判定切片图像中病灶区域的浸润深度，得到浸润深度复原图，利用SIFT图像匹配算法对浸润深度复原图和内镜图像进行匹配，得到具有浸润深度打分矩阵的内镜图像，作为活检图像；

利用SIFT图像匹配算法对浸润深度复原图和内镜图像进行匹配包括：

确定关键点邻域所在尺度空间的像素大小的邻域，利用关键点邻域像素的梯度方向为每个关键点指定方向参数，将坐标轴旋转为关键点的方向，使算子具备旋转不变性；再将该邻域均匀地分为多个窗口，对每个窗口计算多个方向的分量值，根据位置依次排序，得到多维的浸润深度复原图的SIFT特征向量和内镜图像的SIFT特征向量；

当浸润深度复原图的SIFT特征向量和内镜图像的SIFT特征向量，使用关键点特征向量的欧式距离度量两幅图像中关键点的相似度，当相似度超过设定阈值，则浸润深度复原图的关键点与内镜图像的关键点匹配成立；

利用多组匹配成功的关键点计算出浸润深度复原图与内镜图像间的坐标转换关系，通过变换矩阵找到浸润深度复原图在内镜图像中的具体位置，完成匹配。

2.根据权利要求1所述的基于机器学习的内镜下辅助活检的系统，其特征在于，所述病灶浸润深度识别模块还包括：训练图像获取单元、模型训练单元以及结果展示单元；

所述训练图像获取单元，用于获取多幅包含病灶区域的内镜图像；

所述模型训练单元，用于将进行了病灶区域标注的内镜图像作为训练集，训练所述病灶浸润深度识别模型；

所述结果展示单元，用于将病灶浸润深度识别模型识别出的内镜图像中的病灶区域不同分化类型进行浸润深度打分，展示掩码图像。

3.根据权利要求2所述的基于机器学习的内镜下辅助活检的系统，其特征在于，所述病灶浸润深度识别模型包括病灶区域识别分支和浸润深度识别分支。

4.根据权利要求3所述的基于机器学习的内镜下辅助活检的系统，其特征在于，采用DETR神经网络训练所述病灶区域识别分支。

5.根据权利要求3所述的基于机器学习的内镜下辅助活检的系统 ，其特征在于，采用MASK-RCNN卷积神经网络训练所述浸润深度识别分支。