[发明专利]一种基于深度学习的人脸生成中药处方的方法

权利要求书

1.一种基于深度学习的人脸生成中药处方的方法，其特征在于，具体步骤包括：

将病人的人脸图像分割为三个粒度的图像：器官粒度、局部区域粒度和人脸的粒度；

将由像素矩阵和多标签向量组成的数据集划分为训练数据集和测试数据集；

构建基于三粒度人脸的卷积神经网络模型；

根据训练数据集对卷积神经网络模型进行训练并调整超参数，迭代进行多次训练后得到表现良好的神经网络模型；

将测试数据集的像素矩阵输入卷积神经网络模型，生成中药处方。

2.根据权利要求1所述的一种基于深度学习的人脸生成中药处方的方法，其特征在于，采用三个粒度图像的像素矩阵表示病人的三粒度人脸，采用多标签向量表示病人的中药处方；所述三粒度人脸包括八张相关的人脸图像组成，分别为左眼图像、右眼图像、鼻子图像、嘴巴图像、左脸颊图像、右脸颊图像、下巴图像、人脸图像；八张相关的人脸图像与三个粒度图像的关系分别为：器官粒度的图像包括左眼图像、右眼图像、鼻子图像和嘴巴图像；局部区域粒度的图像包括左脸颊图像、右脸颊图像和下巴图像；人脸粒度的图像包括人脸图像。

3.根据权利要求1所述的一种基于深度学习的人脸生成中药处方的方法，其特征在于，所述将由像素矩阵和多标签向量组成的数据集划分为训练数据集和测试数据集的步骤中，以八个像素矩阵和一个多标签向量作为一个基本的数据样本，将数据样本组成的数据集划分为训练数据集和测试数据集；训练数据集，用于学习卷积神经网络模型；测试数据集，用于对卷积神经网络进行无偏估计。

4.根据权利要求1所述的一种基于深度学习的人脸生成中药处方的方法，其特征在于，所述基于三粒度人脸的卷积神经网络中，以三个粒度图像的像素矩阵作为输入，多标签向量作为输出；所述像素矩阵均可为多维矩阵。

5.根据权利要求1所述的一种基于深度学习的人脸生成中药处方的方法，其特征在于，所述构建的卷积神经网络模型中包括CNN1、CNN2_1、CNN2_2、CNN3和FC；其中CNN1、CNN2_1、CNN2_2、CNN3都是卷积模块，用于对图像进行特征提取；FC为一个全连接模块，用于深化特征的提取。

6.根据权利要求1所述的一种基于深度学习的人脸生成中药处方的方法，其特征在于，所述像素矩阵和多标签向量在输入基于三粒度人脸的卷积神经网络模型训练前需要进行预处理：转换为卷积神经网络需要的格式。

7.根据权利要求1所述的一种基于深度学习的人脸生成中药处方的方法，其特征在于，基于三粒度人脸的卷积神经网络的输入为三个粒度的输入，同时模型分为三个通道的输出：主输出通道使用的编码特征结合了器官粒度、局部区域粒度和人脸粒度的特征；辅助输出1使用了器官粒度的编码特征；辅助输出2使用的编码特征结合了器官粒度和局部区域粒度的特征。

8.根据权利要求5所述的一种基于深度学习的人脸生成中药处方的方法，其特征在于，所述根据训练数据集对卷积神经网络模型进行训练并调整超参数，迭代进行多次训练后得到表现良好的神经网络模型的步骤，包括：

将训练数据集划分为验证集与训练集；

将训练集中的器官粒度图像输入到CNN1中，局部区域粒度图像输入到CNN2_1中，人脸粒度图像输入到CNN3中；

对于每一个数据样本，CNN1对器官粒度的图像提取特征，计算得到辅助输出1；CNN2_2根据CNN1提取得到的器官粒度特征和CNN2_1提取得到的局部区域粒度特征计算得到辅助输出2；FC根据CNN2_2得到的器官粒度特征和局部区域粒度特征，以及CNN3提取得到的人脸粒度特征计算得到主输出；

对于每一个数据样本，根据卷积神经网络模型最后的输出和实际输出计算损失；计算损失时把多个样本的损失相加；

训练时以训练集的损失进行训练，进行多轮训练，直至训练集损失非常小或者足够多次的迭代后停止，得到一个模型；

根据验证集上的表现好坏对超参数进行调整，重复进行多次训练得到多个模型，选择在验证集上表现良好的模型作为最终模型。