[发明专利]一种基于数据增强和半监督学习的药物不良反应检测方法

权利要求书

1.一种基于数据增强和半监督学习的药物不良反应检测方法，其特征在于：所述方法包括：

Step1、首先收集中文医疗社交媒体的语料，构建数据集；

Step2、使用回译对未标注数据进行多次增强，得到增强数据，对增强样本和原始样本进行标签预测生成人工标签；

Step3、建立基于Mixup的药物不良反应检测模型，利用标注数据、未标注数据和增强数据对所述模型进行训练，获得训练好的药物不良反应检测模型；

Step4、利用训练好的模型进行药物不良反应的检测。

2.根据权利要求1所述的基于数据增强和半监督学习的药物不良反应检测方法，其特征在于，所述Step1的具体步骤如下：

Step1.1、收集中文医疗社交媒体内容，将包含药物的病情描述作为原始语料，对文本进行预处理；

Step1.2、从所述的原始语料中随机选择部分数据进行人工标注，设定分类标签y∈{0,1}，其中“0”表示不含有药物不良反应，“1”表示含有药物不良反应，得到标注数据集为第i个标注样本的文本内容，为第i个标注样本的标签，n是标注样本的数量；

Step1.3、从所述的原始语料中获取未标注数据集为第i个未标注样本，m是未标注样本的数量。

3.根据权利要求1所述的基于数据增强和半监督学习的药物不良反应检测方法，其特征在于，所述Step2的具体步骤如下：

Step2.1、对于未标注数据集X_u中的每一个样本通过回译生成K个增强数据，K表示中间语言的种类；

Step2.2、对于一个未标注数据样本和它的K个增强数据分别通过文本分类模型得到其预测结果和

Step2.3、将原始样本和增强样本的预测结果进行加权平均：使用锐化函数：定义即对未标注数据，其所有的增强样本与原始样本共享相同的标签。

4.根据权利要求1所述的基于数据增强和半监督学习的药物不良反应检测方法，其特征在于，所述Step3的具体步骤如下：

Step3.1、输入文本经过编码层得到文本的向量表示：

将标注数据集X_l、未标注数据集和增强数据集合并成一个大型的数据集X＝X_l∪X_u∪X_a；

数据集中的每一个文本经过词嵌入编码后得到词序列的低维向量表示E＝[e₁,e₂,…,e_n]，e_i∈R^d表示第i个词的词向量，d表示词向量的维度；

词向量表示经过BiLSTM层，计算词语在上下文中的向量表示：将正向和逆向的LSTM输出和e_i拼接作为第i个词在序列中的隐藏状态表示：拼接h_i序列可得到词序列的隐藏状态表示：H＝[h₁；h₂；…；h_n]；

自注意力层的注意力权重矩阵由两层感知器网络计算得到：A＝softmax(W_s2tanh(W_s1H^T))，W_s1和W_s2分别是注意力层的权重矩阵，d_a、r是超参数，d_a表示注意力层隐藏状态的维度，r是注意力机制的个数，文本表示矩阵由词序列的隐藏状态表示和注意力权重矩阵相乘得到：Z＝AH，文本的向量表示z由矩阵Z中的r个向量拼接得到；

Step3.2、Mixup层进行插值操作：

先随机选取一个样本，然后将同批次的样本随机打乱后抽取另一个样本；

由λ～Beta(α,α)，λ＝max(λ,1-λ)得到混合因子λ，将随机选择的两个样本(z_i,y_i)和(z_j,y_j)进行插值：

Step3.3、混合样本通过分类层获得预测值：

混合样本通过一个全连接层和softmax激活函数，得到样本包含药物不良反应的预测概率：其中W和b分别是权重矩阵和偏置；

Step3.4、将预测结果和混合标签进行一致性正则化，使用二者的KL散度作为损失：

为了使模型对未标注数据预测出置信度更高的标签，使用未标注数据的预测结果的最小熵作为损失式中γ表示边界超参数；

结合两种损失，计算总损失：L＝L_Mixup+γ_mL_m，使用Adam优化算法训练模型最小化损失，得到训练的模型。

5.根据权利要求1所述的基于数据增强和半监督学习的药物不良反应检测方法，其特征在于，所述Step4中，利用训练好的药物不良反应检测模型进行药物不良反应的检测，待检测的样本通过模型获得分类标签，将分类标签为不含有药物不良反应的数据丢弃。