[发明专利]一种可见光图像与荧光图像融合方法及系统

说明书

本发明公开了一种可见光图像与荧光图像融合方法及系统，涉及医学图像处理技术领域。包括：对可见光相机和近红外相机进行图像配准，获取配准参数；同步采集可见光图像和荧光图像，对接收的荧光图像进行预处理，根据配准参数对齐可见光图像与预处理后的荧光图像像素；对配准对齐后的可见光图像和荧光图像进行像素融合生成多光谱图像；将融合后的多光谱图像依次合并生成对应视频序列。本发明采用线下相机配准，利用配准参数能够高效且精准的对齐可见光图像和荧光图像，通过增强预处理能够生成高质量的荧光图像，根据边缘强度值和荧光强度值计算融合权重，使加权融合后的多光谱图像能同时保持边缘和荧光强度信息，适合荧光显微镜/内窥镜等医疗设备。

技术领域

本发明属于医学图像处理技术领域，更具体地，涉及一种可见光图像和荧光图像融合方法及系统。

背景技术

目前多数医学成像系统的摄像模块是CMOS/CCD结构的彩色可见光传感器，随着感光元件制程工艺和成像技术的迅速迭代更新，目前可见光图像的成像分辨率和成像质量可以满足医学界对高质量成像普遍要求。但是，彩色可见光相机只能产生可见光图像，无法呈现可见光谱外的图像信息；与之相对，近红外相机可以采集可见光波长外的信号并进行成像，通过与能被生物组织吸收同时可被特定波长激光激发生成不可见光的染色试剂如荧光试剂吲哚菁绿ICG相结合，近红外成像技术可以呈现出可见光图像下难以清晰观察的细节，如可见光下难以分辨的血管以及息肉，肿瘤等病灶部位。因此，可见光和荧光图像的融合成像技术近些年逐渐成为医疗器械领域的重要发展方向，该技术可以广泛的应用于生物学临床手术过程中，多光谱同时成像可以给医生呈现巨量且丰富的病理信息，对于辅助医生进行精准临床诊断、提高手术效率和成功率等方面具有重大意义和实用价值。但是，目前可见光和荧光图像融合技术面临着多个难点：(1)医学界对成像结果的真实性和准确性严格要求，因此图像融合必须把像素严格对齐作为前提，而可见光图像和荧光图像通常采集自不同相机，图像在融合前若未进行精准配准，可能导致成像误差和频闪等糟糕情形；(2)近红外相机采集的荧光信号十分微弱，且存在干扰信号，不能直接与可见光图像融合，需要进行适当的增强预处理；(3)图像加权融合过程中，权重的设置对成像质量十分关键，不合适的权重设置可能导致亮度偏低，边缘模糊，荧光信号强弱难以分辨等问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提出了一种可见光图像与荧光图像融合方法及系统，能够生成高质量的且能承载丰富病理信息的多光谱图像。

为实现上述目的，按照本发明的一个方面，提供了一种可见光图像与荧光图像融合方法，包括：

S1：对可见光相机和近红外相机进行图像配准，获取配准参数；

S2：分别通过可见光相机和近红外相机同步采集可见光图像和荧光图像；

S3：对接收的荧光图像进行预处理，根据配准参数对齐可见光图像和预处理后的荧光图像像素；

S4：对配准对齐后的可见光图像和荧光图像进行像素融合生成多光谱图像；

S5：将融合后的多光谱图像依次合并生成对应的视频序列。

在一些可选的实施方案中，步骤S1包括：

S11：配准过程中可见光相机和近红外相机固定位置放置，同时，可见光相机和近红外相机之间相对位置保持固定；

S12：标靶放置于位置可调的金属滑轨上，位于可见光相机和近红外相机的正前方，其中，标靶能发出近红外相机波段内荧光；

S13：通过可见光相机和近红外相机同步采集可见光图像和荧光图像；

S14：获取可见光图像和荧光图像的对应特征点及其坐标位置，可见光图像和荧光图像对应特征点的坐标组成特征对，根据多组特征对坐标计算得到一组配准参数，其中，配准参数是像素偏移值或仿射变换矩阵；