[发明专利]基于语义分割的舌面多任务同诊方法、装置及设备

说明书

本发明提供一种基于语义分割的舌面多任务同诊方法、装置及设备，包括：利用经过训练后的舌面语义分割模型对待测舌面图像进行舌面识别以得到舌面识别结果；将得到的舌部图像和面部图像分别结合中医证型症候知识图谱训练基于卷积神经网络的舌诊推理模型和面诊推理模型；构建舌面同诊模型，将舌诊推理模型和面诊推理模型的输出作为所述舌面同诊模型的输入，并通过三级反馈联合预测以输出最终的检测结果。本申请利用语义分割模型提取舌面图像中的人脸各部位和舌象；从舌和面两个方面利用深度学习和多任务学习方法，结合中医知识图谱共同预测中医证型，提升了中医智能化诊断结果的可信度，提高了诊断效率；还有利于中医望诊数字化与客观化的建设。

技术领域

本申请涉及医疗图像处理技术领域，特别是涉及一种基于语义分割的舌面多任务同诊方法、装置及设备。

背景技术

望诊作为中医四诊“望、闻、问、切”中的重要组成部分，受到了诸多研究群体的关注。中医经验认为，脸上的“五官”表现与人体的“五脏”健康与否息息相关，所以借助观察面部可以在一定程度上了解身体的健康状况；舌诊则是通过观察舌象了解人体生理和病理状态，主要观察病人的舌质、舌苔和舌底，传统的舌诊方法会受医生知识水平、诊断技能和当时光线、温度等因素的影响，而随着计算机视觉技术的发展，为舌面角度研究中医望诊的客观化、数字化、智能化及标准化提供了必要条件。

目前中医望诊客观化研究主要有两类方法，第一类集中于舌诊和面诊分开采集两张图片各自训练模型，然后对舌和面结果进行融合；第二类采集一张舌面图像各自训练舌诊和面诊模型，但是仅将舌、面模型的结果进行简单的融合。第一类方法需要拍两张图片，存在操作相较于繁琐的问题，同时，现有的两类方法均存在舌诊和面诊模型之间缺少信息交互与模型训练中结果反馈的情况。因此，急需提供一种基于舌面图像一体化的训练方法以增加模型训练时的信息交互和反馈情况，从而提升舌面同诊模型的检测效果。

发明内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供一种基于语义分割的舌面多任务同诊方法、装置及设备，用于解决现有技术中舌面同诊的训练模型检测效果不佳的技术问题。

为实现上述目的及其他相关目的，本申请提供一种基于语义分割的舌面多任务同诊方法，所述方法包括：利用经过训练的舌面语义分割模型对待测舌面图像进行舌面识别以得到舌面识别结果；将得到的舌部图像和面部图像分别结合中医证型症候知识图谱训练基于卷积神经网络的舌诊推理模型和面诊推理模型；构建舌面同诊模型，将所述舌诊推理模型和所述面诊推理模型的输出作为所述舌面同诊模型的输入，并通过三级反馈联合预测以输出最终的检测结果。

于本申请的一实施例中，所述经过训练的舌面语义分割模型的训练过程包括：获取舌面图像并进行预处理，并对所述舌面图像中的舌面区域及舌诊情况、面诊情况进行标注，以得到标注舌面图像及其标注数据；将所述标注数据拆分为训练集和测试集；将所述训练集输入到卷积神经网络中进行训练，以得到舌面语义分割模型；利用所述测试集对所述舌面语义分割模型进行测试验证；其中，所述预处理包括裁剪、筛选。

于本申请的一实施例中，所述标注舌面图像中的标注数据包括：舌面区域中眼、耳、口唇、鼻、舌、人脸、额头和左右脸各个部分及其位置，还包括对应的舌诊情况和面诊情况；其中，所述舌诊情况包括：舌色、舌形、舌苔、腐腻、厚度、剥苔、点刺、裂纹、齿痕、淤血中任意一种或多种组合；所述面诊情况包括：面色、光泽、唇色、唇部干湿度、眼眶色中任意一种或多种组合。

于本申请的一实施例中，所述经过训练的舌面语义分割模型还输出舌部完整程度和面部完整程度。

于本申请的一实施例中，所述舌诊推理模型或所述面诊推理模型最终获得的舌诊结果或面诊结果为：d_i＝label_i，p_i，s_i；其中，i∈{t＝舌，f＝面}；label_i表示对应的舌诊情况或面诊情况；p_i表示舌诊情况或面诊情况对应的可信度；表示舌诊推理模型或面诊推理模型判断的症候列表。