[发明专利]异常细胞转移程度的预测方法、装置和存储介质

权利要求书

1.一种基于医学数据对异常细胞转移程度进行预测的方法，包括：

获取与异常细胞相关的多个模态的医学数据；

从所述多个模态的医学数据中分别提取每个模态的医学数据的单模态特征；

通过对所提取的各个单模态特征进行融合而得到所述多个模态的医学数据的跨模态融合特征；

利用所述跨模态融合特征作为全局特征对各个单模态特征进行调整；

基于经调整的各个单模态特征得到所述多个模态的医学数据的多模态特征；

根据所述多模态特征进行对所述异常细胞转移程度进行预测。

2.根据权利要求1所述的方法，其中所述多个模态至少包括第一模态和第二模态，所述第一模态的医学数据对应于异常细胞的图像数据，所述第二模态的医学数据对应于所述异常细胞所属患者的临床信息数据，

其中所述第一模态的医学数据对应于多种缩放尺度下的异常细胞的图像数据，所述多种缩放尺度中每种缩放尺度下的异常细胞图像包括多张图像。

3. 根据权利要求2所述的方法，其中所述从所述多个模态的医学数据中分别提取每个模态的医学数据的单模态特征包括：

针对第一模态使用第一特征提取网络提取第一模态的特征；和

针对第二模态使用第二特征提取网络提取第二模态的特征。

4.根据权利要求2所述的方法，其中所述多种缩放尺度中每种缩放尺度下的异常细胞图像包括的多张图像是数量不同的多张图像。

5.根据权利要求3所述的方法，其中所述第一特征提取网络包括基于第一数据集进行预先训练的图像特征提取器，所述第二特征提取网络包括基于第二数据集进行预先训练的表格特征提取器。

6.根据权利要求3所述的方法，其中所述通过对所提取的各个单模态特征进行融合而得到所述多个模态的医学数据的跨模态融合特征包括：

针对所述第一模态下所述异常细胞在每种缩放尺度下的多张图像的特征进行加权融合，得到所述异常细胞在每种尺度下的加权融合特征；

对所述第一模态下各个尺度的加权融合特征和所述第二模态的特征进行拼接，得到跨模态融合特征。

7.根据权利要求6所述的方法，其中所述针对所述第一模态下所述异常细胞在每种缩放尺度下的多张图像的特征进行加权融合，得到所述异常细胞在每种尺度下的加权融合特征包括：

针对所述第一模态下所述异常细胞在每种缩放尺度下的多张图像的特征进行平均池化，得到所述异常细胞在每种尺度下的加权融合特征。

8.根据权利要求2所述的方法，其中所述利用所述跨模态融合特征作为全局特征对各个单模态特征进行调整包括：

基于所述跨模态融合特征作为全局特征与所述第一模态下各个尺度的各个图片的特征进行局部-全局信息融合，得到所述第一模态下各个尺度的各个图片的局部-全局信息融合特征；

对所述第一模态下各个尺度的各个图片的局部-全局信息融合特征进行加权平均，得到所述第一模态下各个尺度的经调整特征；以及

基于所述跨模态融合特征作为全局特征对所述第二模态的特征进行调整，得到所述第二模态下的经调整特征。

9.根据权利要求8所述的方法，其中所述基于所述跨模态融合特征作为全局特征对所述第二模态的特征进行调整，得到所述第二模态下的经调整特征包括：

将所述多模态全局特征通过全连接网络进行计算，并使用Sigmoid激活函数获得的缩放系数对所述第二模态的特征进行调整，得到所述第二模态下的经调整特征。

10.根据权利要求8所述的方法，其中所述基于经调整的各个单模态特征得到所述多个模态的医学数据的多模态特征包括：

对所述第一模态下各个尺度的经调整特征和所述第二模态的特征进行拼接，得到所述多个模态的医学数据的多模态特征。