[发明专利]一种舌象分析方法、终端设备及存储介质

说明书

本发明涉及一种舌象分析方法、终端设备及存储介质，该方法中包括：构建舌象识别模型，通过舌体目标图像训练集对舌象识别模型进行训练，通过训练后的模型判断是否为异常舌象图像；舌象识别模型的网络结构中以Swin Transformer网络作为基础网络架构，舌体目标图像输入Swin Transformer网络后得到的特征图像一方面通过分类网络得到第一预测结果，另一方面通过Grad‑CAM得到特征图像对应的注意力区域，通过注意力区域对特征图像进行裁剪后，通过分类网络得到第二预测结果，根据两个预测结果计算得到为异常舌象图像的概率进行输出。本发明对于舌苔图像细粒度识别水平有明显提升，且更易于布置于移动端效果更好。

技术领域

本发明涉及舌诊技术领域，尤其涉及一种舌象分析方法、终端设备及存储介质。

背景技术

现有的舌诊仪器以辅助医生进行诊断为主，并且其中一种仪器更多需要医生进行操作，进而对结果进行分析，或者只能针对舌苔这一大类进行检测。其不足之处在于：仪器受众范围小，辅助医生进行诊断，普通用户无法使用；单人无法拍摄舌像；仪器系统无法进行联网更新，并且检测精度不高。

发明内容

为了解决上述问题，本发明提出了一种舌象分析方法、终端设备及存储介质。

具体方案如下：

一种舌象分析方法，包括：

构建舌象识别模型，通过包含正常和异常舌象的舌体目标图像训练集对舌象识别模型进行训练，通过训练后的舌象识别模型判断舌体目标图像是否为异常舌象图像；

舌象识别模型的网络结构中以Swin Transformer网络作为基础网络架构，舌体目标图像输入Swin Transformer网络后得到的特征图像一方面通过分类网络得到第一预测结果，另一方面通过Grad-CAM得到特征图像对应的注意力区域，通过注意力区域对特征图像进行裁剪后，将裁剪结果通过分类网络得到第二预测结果，根据第一预测结果和第二预测结果计算得到输入舌体目标图像为异常舌象图像的概率进行输出。

进一步的，舌体目标图像训练集的获取方法包括以下步骤：

S1：接收具有舌体区域标注的正常舌象图像和异常舌象图像作为舌象图像训练集；

S2：构建目标检测模型，通过舌象图像训练集对目标检测网络进行训练，将训练后的模型作为舌体目标检测模型；

S3：将舌象图像训练集中的正常舌象图像和异常舌象图像输入舌体目标检测模型，并将得到的正常舌体目标图像和异常舌体目标图像组成舌体目标图像训练集。

进一步的，目标检测模型采用YOLOv4网络架构。

进一步的，根据第一预测结果和第二预测结果计算得到输入舌体目标图像为异常舌象图像的概率的方法为：取第一预测结果和第二预测结果的平均值作为输入舌体目标图像为异常舌象图像的概率。

一种舌象分析终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。

本发明采用如上技术方案，对于舌苔图像细粒度识别水平有明显提升，且更易于布置于移动端效果更好。

附图说明

图1所示为本发明实施例一的流程图。

图2所示为该实施例中Swin Transformer网络结构示意图。

图3所示为该实施例中Transformer模块的网络结构示意图。