[发明专利]用于内窥镜和腹腔镜导航的同时场景解析和模型融合的方法和系统

说明书

技术领域

本发明涉及腹腔镜或内窥镜图像数据中的语义分割和场景解析，并且更具体地，涉及使用分割的术前图像数据在腹腔镜和内窥镜图像流中同时进行场景解析和模型融合。

背景技术

在微创外科手术期间，图像序列为经采集以引导外科手术的腹腔镜或内窥镜图像。可以采集多个2D/2.5D图像并将其拼接在一起以生成所观察到的关注器官的3D模型。然而，由于摄像头和器官移动的复杂性，精确的3D拼接是具有挑战性的，因为这种3D拼接需要对腹腔镜或内窥镜图像序列的连续帧之间的对应关系进行稳健的估算。

发明内容

本发明提供一种用于使用分割术前图像数据在术中图像流如腹腔镜或内窥镜图像流中同时进行场景解析和模型融合的方法和系统。本发明的实施方式利用目标器官的术前和术中模型的融合来促进采集术中图像流的采集帧的特定场景语义信息。本发明的实施方式自动地将来自术前图像数据的语义信息传播到术中图像流的各个帧，并且随后可以使用具有语义信息的帧来训练用于执行对输入的术中图像的语义分割的分类器。

在本发明的一个实施方式中，接收包括2D图像通道和2.5D深度通道的术中图像流的当前帧。在术前3D医学图像数据中分割的目标器官的3D术前模型被融合到术中图像流的当前帧中。基于目标器官的融合术前3D模型，将来自术前3D医学图像数据的语义标签信息传播到术中图像流的当前帧中的多个像素中的每个像素，从而产生用于术中图像流的当前帧的渲染标签图。语义分类器基于用于术中图像流的当前帧的渲染标签图来训练。

通过参考下面的详细描述和附图，本发明的这些和其它优点对于本领域的普通技术人员应是显而易见的。

附图说明

图1示出了根据本发明实施方式的使用3D术前图像数据在术中图像流中进行场景解析的方法；

图2示出了根据本发明实施方式的将3D术前医学图像数据刚性配准到术中图像流的方法；

图3示出了肝脏的示例性扫描和通过肝脏扫描产生的对应2D/2.5D帧；以及

图4为能够实现本发明的计算机的高级框图。

具体实施方式

本发明涉及一种使用分割的术前图像数据在腹腔镜和内窥镜图像数据中同时进行模型融合和场景解析的方法和系统。本文描述了本发明的实施方式以给出用于模型融合和场景解析术中图像数据如腹腔镜和内窥镜图像数据的方法的视觉理解。数字图像往往由一个或多个对象(或形状)的数字表示组成。对象的数字表示往往在本文中根据识别和操纵对象来描述。此类操纵为在计算机系统的存储器或其它电路/硬件中完成的虚拟操纵。因此，应理解，可以使用存储在计算机系统内的数据在计算机系统内执行本发明的实施方式。

图像的语义分割着重于提供关于定义的语义标签的图像域中的每个像素的解释。由于像素级分割，图像中的对象边界被精确地捕获。由于视觉外观、三维形状、采集设置和场景特征的变化，学习用于如内窥镜和腹腔镜图像的术中图像中的器官特定的分割和场景解析的可靠分类器是具有挑战性的。本发明的实施方式利用分割的术前医学图像数据，例如分割的肝脏计算机断层扫描(CT)或磁共振(MR)图像数据来动态生成标签图以便训练用于在对应的术中RGB-D图像流中同时进行场景解析的特定分类器。本发明的实施方式将3D处理技术和3D表示用作模型融合的平台。

根据本发明的实施方式，在采集的腹腔镜/内窥镜RGB-D(红色、绿色、蓝色光学和计算的2.5D深度图)流中执行自动化的和同时的场景解析和模型融合。这使得能够基于分割的术前医学图像数据来采集用于采集的视频帧的场景特定的语义信息。考虑到模态的基于生物力学的非刚性对准，使用逐帧模式将语义信息自动传播到光学表面成像(即，RGB-D流)。这支持在临床手术期间的视觉导航和自动化识别，并提供用于报告和文档编制的重要信息，因为冗余信息可以被简化为重要信息，例如示出相关解剖结构或提取内窥镜采集的关键视图的关键帧。本文描述的方法可以用交互式响应时间来实现，并因此可以在外科手术期间实时或接近实时地执行。应理解，术语“腹腔镜图像”和“内窥镜图像”在本文中可互换使用，并且术语“内窥镜图像”是指在外科手术或介入期间采集的任何医学图像数据，包括腹腔镜图像和内窥镜图像。