[发明专利]基于舌象图像和肿瘤标志物的肿瘤预测系统、方法及应用

权利要求书

1.一种基于舌象图像和血液肿瘤标志物的肿瘤预测系统，其特征在于包括：

舌象图像获取模块，其被配置为获取测试试样的舌象图像；

血液肿瘤标志物获取模块，其被配置为获取测试试样的血液肿瘤标志物指标；

数据处理模块，其依据自动学习获得的舌象图像与血液肿瘤标志物指标数据模态上可判别性的特征预测测试试样属于阳性的概率；从成对输入交互式深度学习模型的阳性、阴性舌象图像、对应血液肿瘤标志物指标数据模态上获得阳性类别、阴性类别间的可判别性的特征即可用于预测测试试样属于阳性类别还是阴性类别；

肿瘤是胃癌、乳腺癌、结直肠癌、食道癌、肝胆胰腺癌或肺癌中的至少一种；

数据处理模块具体配置为通过下述操作来获得测试试样属于阳性的概率：1)从预先获取的一对舌象图像和一对血液肿瘤标志物指标中提取得到阳性特征和阴性特征；2)以阳性特征和阴性特征训练模型，输出特征分属各个类别的概率；3)将测试试样舌象图像和血液肿瘤标志物指标输入训练完成的模型，输出测试试样属于阳性的概率；

步骤1)所述提取得到阳性特征和阴性特征的步骤包括：编码器提取舌象图像的特征向量，与血液肿瘤标志物指标进行拼接，通过融合区的MLP进行融合，输出融合后的阳性特征f₁和阴性特征f₂；将f₁和f₂及其拼接后的特征f_m同时输入特征选择区的MLP，对应输出两个控制向量g₁和g₂，分别对应f₁和f₂；g₁分别激活f₁和f₂形成选择后的特征f₁⁺和f₂^-，g₂分别激活f₁和f₂形成选择后的特征f₁^-和f₂⁺，获得两个阳性特征f₁⁺和f₁^-与两个阴性特征f₂⁺和f₂^-。

2.根据权利要求1所述的系统，其特征在于：所述血液肿瘤标志物选自AFP、CEA、CA125、CA15-3、CA199、CA72-4、CA242、CA50、CYFRA21-1、NSE、SCC、TPSA、FPSA、AFU、EBV-VCA、TSGF、Ferritin、β2-MG、POA或PROGRP中的至少一种。

3.根据权利要求1或2所述的系统，其特征在于：所述系统还包括输出模块，其被配制为输出预测结果。

4.根据权利要求3所述的系统，其特征在于：所述输出模块被配制为输出舌象图像与预测结果。

5.根据权利要求3所述的系统，其特征在于：所述输出模块以电子显示、声音播报、打印、网络传输的至少一种模式输出。

6.根据权利要求1或2所述的系统，其特征在于：所述可判别性的特征来自于舌象图像、血液肿瘤标志物指标数据模态上的阳性类别与阴性类别之间。

7.根据权利要求1所述的系统，其特征在于：所述数据处理模块具体配置为通过下述操作来预测测试试样属于阳性的概率：

充分对比同时输入交互式深度学习模型的阳性舌象图像、对应血液肿瘤标志物指标和阴性舌象图像、对应血液肿瘤标志物指标，自动学习在舌象图像、血液肿瘤标志物指标数据模态上阳性类别和阴性类别之间的共性和差异，依据阳性类别和阴性类别之间可判别性的特征预测测试试样属于阳性的概率。

8.根据权利要求1所述的系统，其特征在于：

所述阳性舌象图像、对应血液肿瘤标志物指标采集自肿瘤阳性患者；

所述阴性舌象图像、对应血液肿瘤标志物指标采集自肿瘤阴性患者。