[发明专利]一种基于多模态融合的医学图像识别系统及方法

权利要求书

1.一种基于多模态融合的医学图像识别系统，其特征在于：包括：

钼靶图识别模型:用于构建2D-CNN获取钼靶图特征，完成钼靶图识别；所述钼靶图识别模型包括依次连接的2D-CNN、全连接层和Softmax，所述2D-CNN用于获取钼靶图中的特征，所述全连接层和Softmax用于根据2D-CNN输出的特征进行分类，获取钼靶图识别结果；

B超视频序列识别模型:用于构建CNN和LSTM获取B超视频序列特征，完成B超视频序列识别；所述B超视频序列识别模型包括用于分类的全连接层和Softmax、多个依次连接的视频序列特征提取单元，所述视频序列特征提取单元、全连接层和Softmax依次连接，每个视频序列特征提取单元包括一个提取每帧图像特征的CNN和一个与CNN连接且用于获取序列特性的LSTM，所述全连接层和Softmax用于根据视频序列特征提取单元输出的特征进行分类，获取B超视频序列识别结果；

MRI序列识别模型:用于构建3D-CNN获取MRI序列特征，完成MRI序列识别；所述MRI序列识别模型包括依次连接的3D-CNN、全连接层和Softmax，所述3D-CNN用于获取MRI序列的特征，所述全连接层和Softmax用于根据3D-CNN输出的特征进行分类，获取MRI序列识别结果；

多模态决策融合单元:用于将钼靶图识别结果、B超视频序列识别结果和MRI序列识别结果通过乘法进行决策融合，获取最终识别结果；通过乘法进行决策融合的公式计算如下：

其中，a代表钼靶图识别结果，b代表B超视频序列识别结果，c代表MRI序列识别结果，A、B分别表示识别结果的类别；

采用该系统进行识别的方法包括：

步骤1：将采集的钼靶图、B超图和MRI图进行标注和分类；

步骤2：构建、训练包括2D-CNN的钼靶图识别模型、包括CNN和LSTM的B超视频序列识别模型和包括3D-CNN的MRI序列识别模型后，利用采集的图像进行识别获取钼靶图识别结果、B超视频序列识别结果和MRI序列识别结果；

步骤3：将钼靶图识别结果、B超视频序列识别结果和MRI序列识别结果通过乘法进行决策融合，获取最终识别结果。

2.根据权利要求1所述的一种基于多模态融合的医学图像识别系统，其特征在于：所述方法步骤2中钼靶图识别模型训练包括如下步骤：

步骤a1：构建钼靶图识别模型，钼靶图识别模型包括依次连接的2D-CNN、全连接层和Softmax；

步骤a2：将步骤1分类图像中的训练集输入钼靶图识别模型按间隔时间进行训练，记录模型训练参数，直至目标函数曲线不再下降；

步骤a3：将分类图像中的验证集输入步骤a2中的钼靶图识别模型进行测试，记录六个识别效果佳的模型；

步骤a4：将分类图像中的测试集数据输入步骤a3六个模型中，选择识别率最高者作为最终钼靶图识别模型完成训练。

3.根据权利要求1所述的一种基于多模态融合的医学图像识别系统，其特征在于：所述方法步骤2中B超视频序列识别模型训练包括如下步骤：

步骤b1：构建B超视频序列识别模型，B超视频序列识别模型包括全连接层、Softmax和多个依次连接的视频序列特征提取单元，所述视频序列特征提取单元包括一个提取每帧图像特征的CNN和一个与CNN连接且用于获取序列特性的LSTM；

步骤b2：将步骤1分类图像中的训练集输入B超视频序列识别模型按间隔时间进行训练，记录模型训练参数，直至目标函数曲线不再下降；

步骤b3：将分类图像中的验证集输入步骤b2中的B超视频序列识别模型进行测试，记录六个识别效果佳的模型；

步骤b4：将分类图像中的测试集数据输入步骤b3六个模型中，选择识别率最高者作为最终B超视频序列识别模型完成训练。