[发明专利]用于内窥镜和腹腔镜导航的同时场景解析和模型融合的方法和系统

权利要求书

1.一种用于在术中图像流中进行场景解析的方法，包括：

接收包括2D图像通道和2.5D深度通道的术中图像流的当前帧；

将在术前3D医学图像数据中分割的目标器官的3D术前模型融合到所述术中图像流的所述当前帧；

基于所述目标器官的所述融合术前3D模型，将来自所述术前3D医学图像数据的语义标签信息传播到所述术中图像流的所述当前帧中的多个像素中的每个像素，从而产生所述术中图像流的所述当前帧的渲染标签图；以及

基于用于所述术中图像流的所述当前帧的所述渲染标签图来训练语义分类器。

2.根据权利要求1所述的方法，其中，将在术前3D医学图像数据中分割的目标器官的3D术前模型融合到所述术中图像流的所述当前帧包括：

在所述术前3D医学图像数据与所述术中图像流之间执行初始非刚性配准；以及

使用所述目标器官的计算生物力学模型使所述目标器官的所述3D术前模型变形以将所述术前3D医学图像数据与所述术中图像流的所述当前帧对准。

3.根据权利要求2所述的方法，其中，在所述术前3D医学图像数据与所述术中图像流之间执行初始非刚性配准包括：

拼接所述术中图像流的多个帧以生成所述目标器官的3D术中模型；以及

在所述目标器官的所述3D术前模型与所述目标器官的所述3D术中模型之间执行刚性配准。

4.根据权利要求2所述的方法，其中，使用所述目标器官的计算生物力学模型使所述目标器官的所述3D术前模型变形以将所述术前3D医学图像数据与所述术中图像流的所述当前帧对准包括：

使用所述目标器官的所述计算生物力学模型使所述目标器官的所述3D术前模型变形，以将所述术前3D医学图像数据与所述术中图像流的所述当前帧的所述2.5D深度通道中的深度信息对准。

5.根据权利要求2所述的方法，其中，使用所述目标器官的计算生物力学模型使所述目标器官的所述3D术前模型变形以将所述术前3D医学图像数据与所述术中图像流的所述当前帧对准包括：

估算所述目标器官的所述3D术前模型与所述当前帧中的所述目标器官之间的对应关系；

根据所述对应关系估算所述目标器官上的力；以及

使用所述目标器官的所述计算生物力学模型基于估算的力来模拟所述目标器官的所述3D术前模型的变形。

6.根据权利要求1所述的方法，其中，基于所述目标器官的所述融合术前3D模型，将来自所述术前3D医学图像数据的语义标签信息传播到所述术中图像流的所述当前帧中的多个像素中的每个像素，从而产生所述术中图像流的所述当前帧的渲染标签图包括：

基于所述目标器官的所述融合术前3D模型，将所述术前3D医学图像数据与所述术中图像流的所述当前帧对准；

基于所述当前帧的姿态来估算对应于所述术中图像流的所述当前帧的所述3D医学图像数据中的投影图像；以及

通过将来自所述3D医学图像数据中的所述估算的投影图像中的多个像素位置中的每个像素位置的语义标签传播到所述术中图像流的所述当前帧中的所述多个像素中的对应像素术中来渲染所述术中图像流的所述当前帧的渲染标签图。

7.根据权利要求1所述的方法，其中，基于用于所述术中图像流的所述当前帧的所述渲染标签图来训练语义分类器的过程包括：

基于用于所述术中图像流的所述当前帧的所述渲染标签图来更新经训练的语义分类器。

8.根据权利要求1所述的方法，其中，基于用于所述术中图像流的所述当前帧的所述渲染标签图来训练语义分类器包括：

针对所述术中图像流的所述当前帧，在所述渲染标签图中的一个或多个经标记的语义类别中的每个语义类别中对所述训练样本进行采样；以及

针对所述术中图像流的所述当前帧，基于所述渲染标签图中的所述一个或多个经标记的语义类别中的每个语义类别中的所述训练样本来训练所述语义分类器。