[发明专利]一种基于LSTM-CNN的混合语料分词方法

权利要求书

1.一种基于LSTM-CNN的混合语料分词方法，其步骤包括：

1)将训练混合语料数据OrgData转化为字符级的混合语料数据NewData；

2)统计该混合语料数据NewData字符得到一字符集合CharSet，并对该字符集合CharSet中每个字符进行编号，得到该字符集合CharSet对应的字符编号集合CharID；统计NewData中的字符的标签，得到一标签集合LabelSet，对该标签集合LabelSet的标签进行编号，得到对应的标签编号集合LabelID；

3)将NewData按照句子长度划分，得到若干句子；然后根据句子长度对得到的句子进行分组，得到包括n组句子的数据集合GroupData；

4)随机无放回的从该数据集合GroupData中选取一句子分组，从该句子分组中抽取BatchSize个句子，每一个句子的字符构成一数据w，每个句子的字符对应的标签集合为y；根据字符编号集合CharID将数据w转换为对应的编号，得到数据BatchData；根据标签编号集合LabelID将集合y中的标签转换为对应的编号，得到数据y_ID；

5)将步骤4)生成的多个数据BatchData及其对应的标签数据y_ID一起送入深度学习模型LSTM-CNN，训练该深度学习模型LSTM-CNN的参数，当深度学习模型产生的损失值Cost(y′,y_ID)满足设定条件或者达到最大迭代次数N，则终止深度学习模型的训练，得到训练后的深度学习模型LSTM-CNN；否则采用步骤4)的方法重新生成数据BatchData训练该深度学习模型LSTM-CNN；其中y′表示数据BatchData经过该深度学习模型LSTM-CNN的SoftMax层后的输出；

6)将待预测的混合语料数据PreData转换成与该深度学习模型LSTM-CNN匹配的数据PreMData，并将其送入训练好的深度学习模型LSTM-CNN，得到分词结果OrgResult。

2.如权利要求1所述的方法，其特征在于，该数据BatchData的长度为一固定长度maxLen，当抽取到的数据句子长度lmaxLen时，将该抽取到的数据句子后面补maxLen-l个0，得到BatchData；并将对应的数据y_ID后面补maxLen-l个0，得到数据y_ID；其中，maxLen等于该深度学习模型LSTM-CNN中的LSTM单元个数。

3.如权利要求2所述的方法，其特征在于，产生该损失值Cost(y′,y_ID)的方法为：

31)将数据BatchData在深度学习模型LSTM-CNN的Embedding层进行向量化，将数据BatchData中的每个字符转换成一向量；

32)将各数据BatchData对应的向量传入深度学习模型LSTM-CNN的LSTM层，其中该数据BatchData中的每一字符对应的向量传入LSTM层的一LSTM单元；且第i-1个LSTM单元的输出结果输入第i个LSTM单元；

33)将每个LSTM单元的输出h_i传入深度学习模型LSTM-CNN的第一DropOut层；

34)将第一DropOut层的输出传入Conv卷积层进行卷积后，使用ReLU激活函数将卷积层的输出设为c_i；

35)将该Conv卷积层的输出c_i依次经第二DropOut层、SoftMax层处理后，将得到的输出y′与传入的数据y_ID一起计算产生损失值Cost(y′,y_ID)。

4.如权利要求3所述的方法，其特征在于，所述损失值Cost(y′,y_ID)＝-y_IDlog(y′)+(1-y_ID)log(1-y′)。

5.如权利要求1所述的方法，其特征在于，所述步骤5)中，所述设定条件为：当前计算的损失值Cost(y′,y_ID)与前m次损失值的平均值的差小于阈值θ。