[发明专利]异常细胞转移程度的预测方法、装置和存储介质

说明书

提供了一种利用人工智能实施的基于医学数据对异常细胞转移程度进行预测的方法。该方法包括：获取与异常细胞相关的多个模态的医学数据；从多个模态的医学数据中分别提取每个模态的医学数据的单模态特征；通过对所提取的各个单模态特征进行融合而得到多个模态的医学数据的跨模态融合特征；利用跨模态融合特征作为全局特征对各个单模态特征进行调整；基于经调整的各个单模态特征得到多个模态的医学数据的多模态特征；根据多模态特征进行对异常细胞转移程度进行预测。通过基于医学数据对异常细胞转移程度进行预测的方法和装置，实现了对患者的不同模态的病理信息的融合，充分利用了患者多模态的信息资源，提高了异常细胞淋巴转移的预测准确率。

技术领域

本发明涉及医学图像处理领域，具体来说涉及对异常细胞转移程度进行预测的方法、装置、计算设备和计算机可读存储介质。

背景技术

目前，人工智能技术在各种医学工程中得到了广泛使用。人工智能网络已经被用来根据不同疾病的特点辅助医生做出决策。

在临床诊断中，医生通常会基于患者病灶组织的病理图像和患者的临床诊断信息来做出决策。在一些相关技术中，神经网络模型（例如全连接神经网络）被用来基于患者的临床信息预测患者病灶组织的状态。但是，由于临床信息的内容是对患者状况的有限描述，不能全面反应患者的病灶组织的微环境，限制了神经网络模型的性能。在另一些相关技术中，病理图像被用来预测患者病灶组织的状态。但是，由于病理图像只反应了获取病灶组织部位的病理环境，所以未能将患者的生理状态共同纳入决策过程。对于一些同时考虑患者临床信息和病理图像的方案，其中涉及到的病理图像（特别是病理特征部分）通常需要人工判读。由于这样的判读对病理医生要求较高且耗时较久，并且在不同的实验室间存在差异，所以会导致判读的指标出现浮动。这可能导致错误的决策。

发明内容

现有技术中的人工智能在对异常细胞进行分类时，大多仅依据一种病理信息进行分类，没有结合其他病理信息（例如，病人的临床信息）的整体情况进行分类，分类准确率不高。现有技术的人工智能网络包括中，分类逻辑及网络包括过于简单，导致分类的准确率不高。

鉴于此，本发明提供了对异常细胞转移程度进行预测的方法、装置、计算设备和计算机可读存储介质，期望缓解或克服上面提到的部分或全部缺陷以及其他可能的缺陷。

根据本发明的第一方面，提供了基于医学数据对异常细胞转移程度进行预测的方法。该方法包括：获取与异常细胞相关的多个模态的医学数据；从多个模态的医学数据中分别提取每个模态的医学数据的单模态特征；通过对所提取的各个单模态特征进行融合而得到多个模态的医学数据的跨模态融合特征；利用跨模态融合特征作为全局特征对各个单模态特征进行调整；基于经调整的各个单模态特征得到多个模态的医学数据的多模态特征；根据多模态特征进行对异常细胞转移程度进行预测。

在一些实施例中，多个模态至少包括第一模态和第二模态，第一模态的医学数据对应于异常细胞的图像数据，第二模态的医学数据对应于异常细胞所属患者的临床信息数据，其中第一模态的医学数据对应于多种缩放尺度下的异常细胞的图像数据，多种缩放尺度中每种缩放尺度下的异常细胞图像包括多张图像。

在一些实施例中，从多个模态的医学数据中分别提取每个模态的医学数据的单模态特征包括：针对第一模态使用第一特征提取网络提取第一模态的特征；和针对第二模态使用第二特征提取网络提取第二模态的特征。

在一些实施例中，多种缩放尺度中每种缩放尺度下的异常细胞图像包括的多张图像是数量不同的多张图像。

在一些实施例中，第一特征提取网络包括基于第一数据集进行预先训练的图像特征提取器，第二特征提取网络包括基于第二数据集进行预先训练的表格特征提取器。