[发明专利]一种基于多模态融合的医学图像识别系统及方法

说明书

本发明公开了一种基于多模态融合的医学图像识别系统及方法，涉及医学图像检测领域，其系统包括用于构建2D‑CNN结构获取钼靶图特征，完成钼靶图识别的钼靶图识别模型、用于构建CNN和LSTM结构获取B超序列特征，完成B超视频序列识别的B超视频序列识别模型、用于构建3D‑CNN获取MRI序列特征，完成MRI序列识别的MRI序列识别模型和用于将钼靶图识别结果、B超视频序列识别结果和MRI序列识别结果通过乘法进行决策融合，获取最终识别结果的多模态决策融合单元；本发明针对钼靶、B超和MRI图像的特性设计不同的结构进行训练，克服将三者特性完全不一致的图像进行结合的难点，将多维度识别结果通过乘法进行决策融合，获取更加全面和有效的特征，提高识别准确度。

技术领域

本发明涉及医学图像检测领域，尤其是一种基于多模态融合的医学图像识别系统及方法。

背景技术

目前，医学影像检测是判定乳腺癌等疾病的首选方法，已经取得了一定的成绩。目前医院检查乳腺癌主要是进行B超、钼靶和MRI检测，人工分析处理检测图像，由于乳腺组织中的腺体、血管、脂肪等软组织的密度与病灶区的密度都很接近，肉眼观察加上视觉易疲劳，容易导致误诊；随着医学影像技术和计算机技术的不断发展，利用计算机进行辅助诊断成为可能；比如：利用数字图像处理技术，分别提取乳腺B超或者钼靶图像中病理相关的特征，运用SVM等机器学习方法根据这些特征对乳腺疾病的参数进行分类识别；利用单种图像借助计算机技术进行辅助识别和分析，避免了人工分析误诊率高的缺点，但是单种图像各自存在不足，导致无法提供全面的识别信息，因此结合两种图像的识别系统应运而生，比如现有技术中专利号：CN201610537713.0、专利名称：一种基于高斯核参数选择的SVM乳腺分类方法的专利，结合钼靶与B超影像数据进行特征提取、分析和决策融合，利用高斯核参数选择算法对基于高斯核的二叉平衡决策树SVM的每个决策面设置适合于该决策面数据特征的高斯核，该方法具有较强的实用性，提高了乳腺癌诊断的准确率和效率；但该专利以传统机器学习方法为基础，同时，仅融合了两类医学影像信息，导致其检测的效果有限；综上，需要一种识别系统可以识别多种医学影像，利于全面检测和分析疾病。

发明内容

本发明的目的在于：本发明提供了一种基于多模态融合的医学图像识别系统及方法，解决现有因医学图像特性不一致导致多种医学图像无法整合，检测全面性差，导致识别准确度低的问题。

本发明采用的技术方案如下：

一种基于多模态融合的医学图像识别系统及方法，其特征在于：

A.所述系统包括：

(1)钼靶图识别模型:用于构建2D-CNN获取钼靶图特征，完成钼靶图识别；所述钼靶图识别模型包括依次连接的2D-CNN、全连接层和Softmax，所述2D-CNN用于获取钼靶图中的特征，所述全连接层和Softmax用于根据2D-CNN输出的特征进行分类，获取钼靶图识别结果；

(2)B超视频序列识别模型:用于构建CNN和LSTM获取B超视频序列特征，完成B超视频序列识别；所述B超视频序列识别模型包括用于分类的全连接层和Softmax、多个依次连接的视频序列特征提取单元，所述视频序列特征提取单元、全连接层和Softmax依次连接，所述每个视频序列特征提取单元包括一个提取每帧图像特征的CNN和一个与CNN连接且用于获取序列特性的LSTM，所述全连接层和Softmax用于根据视频序列特征提取单元输出的特征进行分类，获取B超视频序列识别结果。

(3)MRI序列识别模型:用于构建3D-CNN获取MRI序列特征，完成MRI序列识别；所述MRI序列识别模型包括依次连接的3D-CNN、全连接层和Softmax，所述3D-CNN用于获取MRI序列的特征，所述全连接层和Softmax用于根据3D-CNN输出的特征进行分类，获取MRI序列识别结果。

(4)多模态决策融合单元:用于将钼靶图识别结果、B超视频序列识别结果和MRI序列识别结果通过乘法进行决策融合，获取最终识别结果。