[发明专利]一种基于人工智能的解剖变异识别提示方法及系统

权利要求书

1.一种基于人工智能的解剖变异识别提示系统，其特征在于：它包括影像图像获取模块、变异解剖结构检测模块、解剖要素区域检测模块和器械检测模块；

所述影像图像获取模块用于获取多种类型的影像学图像及相关手术视频数据，并进行处理后得到影像学关键图片序列和视频帧序列；

所述变异解剖结构检测模块用于通过UNet++网络进行特征提取，将得到的特征图作为后续网络的输入，最后得到对应视频帧中变异结构出现的区域；

所述解剖要素区域检测模块用于通过UNet++网络进行特征提取，将得到的特征图作为后续网络的输入，最后得到对应视频帧中出现的解剖要素区域的位置，并为变异结构检测模块的运行提供数据支持；

所述器械检测模块用于通过CPNet网络进行特征提取，将得到的特征图作为后续网络的输入，最后得到对应的视频中出现的器械尖部的位置；

所述系统运行时执行解剖变异识别提示方法的步骤，其包括：

实时采集腔镜图像，并根据腔镜器官分割模型和器械关键点检测模型获取实时器官分割数据以及器械关键点数据；

影像学图像变异解剖结构分割模型和影像学图像器官分割模型提供患者影像学检查的模型识别结果，其识别结果通过Python根据其横竖坐标中心点及其极值生成在最小外界框基础上向外扩大延伸而形成扩大外界框，其中包括变异解剖结果或者周围器官的识别结果，以及周围结构的识别结果，并根据扩大外界框与其周围器官识别结果对应范围之间的相交关系，从而确定获取变异结构和周围器官组织的位置关系；

根据变异解剖结构和周围器官组织的位置关系，以及实时器官分割数据，即腔镜下视野的解剖识别结果，实时推断变异结构在腔镜手术视野下的位置；

实时检测器械关键点和变异结构的位置信息，当器械在变异解剖结构区域进行操作时，对变异解剖结构区域进行提示，手术操作者根据提示进行操作；

重复上述步骤，直到手术结束。

2.根据权利要求1所述的一种基于人工智能的解剖变异识别提示系统，其特征在于：所述解剖变异识别提示方法还包括影像学图像及手术图像的标注数据库构建步骤以及模型构建步骤；所述影像学图像及手术图像的标注数据库构建步骤包括：

构建多种类型的影像学图像变异解剖结构分割标注数据库和影像学图像器官分割标注数据库；

对手术图片进行抽取，标注构建手术图片下的器官结构分割标注数据和器械关键点标注数据；

所述模型构建步骤包括：构建影像学图像变异解剖结构分割模型、影像学图像器官分割模型、腔镜图像器官分割模型、腔镜图像器械关键点检测模型。

3.根据权利要求2所述的一种基于人工智能的解剖变异识别提示系统，其特征在于：所述构建多种类型的影像学图像变异解剖结构分割标注数据库和影像学图像器官分割标注数据库包括：

收集影像学图像，根据需要标注的解剖结构及其周围的标志性解剖区域所在的区域、体位以及影像学图像采集的角度，初步筛选需要标注的图片或图片组；

根据需要标注的变异解剖结构及其周围所在区域对应的不同外科专科，安排多名相应科室且满足主治医师级别的医师通过多边形标注的方式，标注变异解剖结构组织及周围标志性解剖器官，并由至少1名满足主任医师级别的医师对标注结果进行核查；

完成用于训练影像学图像器官分割模型和影像学图像变异解剖结构分割模型的数据库的构建。

4.根据权利要求2所述的一种基于人工智能的解剖变异识别提示系统，其特征在于：所述对手术图片进行抽取，标注构建手术图片下的器官结构分割标注数据和器械关键点标注数据包括：

根据需要训练的不同变异结构部位所在的解剖区域及其对应负责的科室，收集对应科室的各种类型手术视频数据，并将其通过格式转码软件转换为相应格式，按照1秒/帧的时间间隔抽取手术图片；

对抽取的图片通过多边形标记器官分割标注图片中的器官分割数据，和通过点标注法标注操作器械的关键点数据，安排多名相应科室且满足主治医师级别的医师进行标注，并由至少1名相应科室且满足主任医师级别的医师对标注结果进行核查；

完成用于训练腔镜图像器官分割模型、腔镜图像器械关键点检测模型的数据库的构建。