[发明专利]实时三维心脏图像自动靶目标区域追踪识别系统

说明书

本发明提供了一种实时三维心脏图像自动靶目标区域追踪识别系统，其特征在于，包括：显示信号获取单元；深度学习模型；模型特征预测单元；模型校正单元；感兴趣区域框选单元；手术引导信息标注单元。目前没有在实时三维超声图像上进行实时自动标记的技术和方法，本发明提供的系统适用于目前大多数三维心脏超声成像设备，本发明的实时智能标记方法所添加的实时标注信息对手术引导非常重要，可以实时处理图像追踪标记感兴趣区，辅助手术医生快速锁定病变区域，实时引导手术导管或植入器械的着陆或投放来完成手术操作，既保障了手术安全，又缩短手术时间。

技术领域

本发明涉及一种对实时三维超声成像显示的运动目标进行快速分割描记及靶向引导技术的系统，可用于手术引导，属于图像处理领域。

背景技术

所有的手术都需要直接或间接的视觉信息确认来引导辅助。近几年心脏手术的微创化、经导管介入化使得实时透视影像的引导越发重要。三维超声是近几年来重要性越来越得到重视的代表性手术辅助成像技术。目前的三维超声图像时间分辨率和空间分辨率越来越高，图像质量效果越来越好。有经验的超声医生可以快速的定位及定性病变，但是手术操作医生无超声影像阅读基础，需要超声医生讲解指示病变区域。所以急需能对三维显示图像进行智能识别分割和追踪的技术来标记图像，以醒目的方式来显示病变目标区域，引导手术器械的着陆或投放。

目前三维图像分割处理技术为全容积图像的三维模型构建，一般需要采集完三维图像后，再经过在机或脱机后处理运算后进行显示。现有技术虽然可以做到三维建模，但是其处理延时、耗时，不能所见即所得地实时同步显示，不能满足心脏手术引导所需的实时导航要求。

发明内容

本发明要解决的技术问题是：目前手术引导仅依靠单独的超声图像显示，没有在实时三维超声图像上进行标记引导的辅助技术。

为了解决上述技术问题，本发明的技术方案是提供了一种实时三维心脏图像自动靶目标区域追踪识别系统，其特征在于，包括：

显示信号获取单元，用于获取医疗设备输出的二维显示信号；

深度学习模型，应用Keras框架和全卷积神经网络构建深度学习模型，利用已分割出感兴趣区域且感兴趣区域的图像特征已知的多幅训练二维图像对深度学习模型训练后，将通过显示信号获取单元实时获取二维显示信号，将二维显示信号输入训练后的深度学习模型，由深度学习模型从二维显示信号所表示的当前一帧的二维图像中分割出感兴趣区域，并识别得到当前一帧二维图像的感兴趣区域的图像特征；

模型特征预测单元，根据当前一帧二维图像的感兴趣区域的图像特征与前一帧二维图像的感兴趣区域的图像特征的差异预测得到下一帧二维图像的感兴趣区域的图像特征；

模型校正单元，将模型特征预测单元预测的当前一帧二维图像的感兴趣区域的图像特征与深度学习模型获得的当前一帧二维图像的感兴趣区域的图像特征进行匹配，根据匹配结果对深度学习模型进行校正；

感兴趣区域框选单元，依据深度学习模型获得的分割结果，将感兴趣区域在二维显示信号所表示的当前一帧的二维图像中框选出来；

手术引导信息标注单元，在已经通过深度学习模型分割得到的感兴趣区域的基础上，进行手术规划，以手动方式给出手术中输送导管理想位置的标示、手术植入装置理想位置的标示、输送导管的轴向示意图、手术植入装置的姿态示意图，手术引导信息标注单元将手动操作添加的指示与感兴趣区域框选单元所框选出的感兴趣区域绑定并联动进行显示。

优选地，所述显示信号获取单元通过医疗设备的分屏输出显示物理端口获取所述二维显示信号。

优选地，所述二维显示信号为已经完成三维渲染的二维显示图像。