[发明专利]一种适用于脑外科虚拟手术仿真的高沉浸感视觉呈现方法

说明书

一种适用于脑外科虚拟手术仿真的高沉浸感视觉呈现方法，包括将图像分割为光斑区域Us和脑组织区域Ub、光斑区域线性放大为Us'图像、光斑图像Us与Us'进行质心配准、脑组织区域进行图像修复为Ub'图像、Us'与Ub'进行视频合成、视频解帧生成纹理、消除首尾帧跳变、手术背景动态纹理循环映射、手术肿瘤镜面环境映射等步骤。本发明通过采用摄像机获得的视频序列进行动态纹理映射方法建立高真实感场景信息，通过进行镜面环境映射获得手术的虚拟器官的真实感纹理，极大地提升了手术仿真的真实感和沉浸感，实习医生在训练过程中可以更身临其境地体验到真实手术一样的动态视觉效果，有助于更快速高效的提升实习医生的手术操作水平。

技术领域

本发明涉及图象处理、虚拟现实技术领域，具体涉及一种高沉浸感的虚拟手术仿真视觉呈现方法。

背景技术

虚拟融合在医学手术上有极为重要的应用价值。高仿真的系统允许医生或实习生通过练习掌握系统提供的操作，他们可以反复进行尽可能多次数的操作。但是，系统的保真度和触觉现实感仍然是目前亟待解决的问题。虚实手术的前沿问题在于：增强真实环境和虚拟环境的一致呈现性，以及增强人与虚实环境的力触觉和体感交互的真实感。

目前国内外不少大学和科研机构都陆续开发了虚实融合的手术仿真系统，但大多数系统无背景直接显示虚拟病灶器官，或者采用简单的静态背景图片。这些虚拟现实系统虽然对虚拟的组织器官部分进行了较为精细的仿真，但却没有真实的环境与之融合，单一孤立的模型缺乏真实感，很难使用户在视觉上产生沉浸感。针对上述问题，本发明提出了一种适用于脑外科虚拟手术仿真的高沉浸感视觉呈现方法。在对脑肿瘤器官模拟仿真的基础上，该方法对虚拟脑瘤周围建立大脑组织环境，并对环境背景进行基于手术视频的动态纹理渲染，对虚拟脑肿瘤模型进行镜面纹理映射，实现虚实在纹理上的同步效果。相比传统脑外科虚拟手术的视觉显示方法，该方法极大的增强了手术视觉效果的真实感和沉浸感，并将虚拟器官与环境进行了高度融合，增强了真实环境和虚拟环境的一致呈现性。

发明内容

本发明的目的是提供一种适用于脑外科虚拟手术仿真的高沉浸感视觉呈现方法。

为了提升仿真系统的真实感和沉浸感，本发明在虚拟脑肿瘤模型的基础上建立大脑组织环境，通过采用摄像机获得的视频序列对其进行动态纹理映射，建立高度真实感的场景信息，通过进行镜面环境映射获得待手术的虚拟脑肿瘤的真实感纹理，实现虚拟模型与真实场景在纹理上的同源性与同步效果。

本发明是通过以下技术方案实现的。

本发明所述的一种适用于脑外科虚拟手术仿真的高沉浸感视觉呈现方法，按如下步骤：

步骤1：对脑外科手术视频进行区域分割，并分别进行预处理：以便于突破时间长度的限制，对脑组织区域背景进行实时动态环境映射以及对虚拟脑肿瘤模型进行镜面环境纹理映射。

(a)对手术视频进行图像分割：设视频单帧图像为U，U＝Us+Ub(Us为光斑区域图像，Ub为脑组织区域图像)。利用Otsu法计算出两个区域的类间方差，获得分界阈值k，根据k值将图像U分离为光斑区域Us与脑组织区域Ub。

(b)对光斑区域Us进行线性放大和质心配准：采用双线性插值将光斑区域Us放大1.1倍获得Us'图像。设源图像Us大小为M×N，则目标图像Us'大小为1.1M×1.1N，通过对四邻域点的像素值进行加权求和获得Us'图像的像素值。分别计算原光斑区域Us的质心点p1，和放大区域Us'的质心点p2，通过重叠p1和p2两点对两个区域进行质心配准，使用Us'覆盖Us区域。

(c)对脑组织区域Ub进行图像修复：对Ub中移除光斑后的剩余区域进行图像修复，获得完整的脑组织图像Ub'。对视频中每帧图像，通过对相邻帧画面像素采用加权求和窗口，获得第k帧图像中的修复区域各点的像素值。