[发明专利]中文分词方法、电子装置及可读存储介质

权利要求书

1.一种基于卷积神经网络模型的中文分词方法，其特征在于，包括如下步骤：

第一步：获取文字字典，去除所述文字字典中的特殊符号和非中文字符，将所述文字字典中的各文字分隔为单独文字形式的文字，所述单独文字形式的文字的集合为第一训练文本；

第二步：通过字向量训练将所述第一训练文本转化为字向量形式的第一字向量训练文本，根据所述第一训练文本和所述第一字向量训练文本确定字向量字典，所述字向量字典中记录有文字与字向量的对应关系；

第三步：获取带有分词标注的第二训练文本，根据所述字向量字典将所述第二训练文本转化为字向量形式的训练信息；

第四步：根据预设的交叉熵损失函数和ADAM优化算法以及所述训练信息，对所述卷积神经网络模型进行训练；

第五步：根据所述卷积神经网络模型的训练结果对输入的待分词的文本进行字符边界识别预测。

2.如权利要求1所述的基于卷积神经网络模型的中文分词方法，其特征在于，通过字向量训练将所述第一训练文本转化为字向量形式的第一字向量训练文本包括如下步骤：运行Word2Vec算法，基于所述Word2Vec算法对所述第一训练文本进行字向量训练，通过所述Word2Vec算法将所述第一训练文本转化为字向量形式的第一字向量训练文本。

3.如权利要求1所述的基于卷积神经网络模型的中文分词方法，其特征在于，所述卷积神经网络模型包括四层卷积层，各卷积层的卷积核均为一维卷积核；在第四层卷积层处构建有与卷积神经网络模型并行的注意力机制，所述注意力机制用于注意力权重计算，为第四层卷积层的一维卷积核的各通道进行权重调整；

在第四步训练所述卷积神经网络模型时，通过所述注意力机制调整第四层卷积层各通道输出的卷积结果的权重，获取加权结果，然后将所述加权结果输入至softmax函数，接着通过所述softmax函数输出字符边界识别预测的预测结果。

4.如权利要求3所述的基于卷积神经网络模型的中文分词方法，其特征在于，所述softmax函数将每个字的字符边界映射后转化为0至1的概率值，并以概率值最高者作为预测结果；

所述字符边界的识别标签为BMES，B代表词语开头，M代表词语中部，E代表词语结尾，S代表单字。

5.如权利要求3所述的基于卷积神经网络模型的中文分词方法，其特征在于，调整所述卷积结果的权重时：

将所述第四层卷积层的输出转化为a*b的矩阵，所述a为通道数，所述b为处理的文本长度；通过两个并行前馈层输出a*b与b*a的矩阵进行矩阵乘法，再经过softmax函数映射为概率，获得第四卷积层的卷积结果；

通过另一并行前馈层输出b*a的矩阵，所述b*a的矩阵与根据注意力机制形成的注意力矩阵进行矩阵乘法，得到b*a的矩阵并将其转化为a*b*1的三维矩阵，并与映射为概率的卷积结果加和，获得并输出加权重的加权结果，完成各通道权重调整。

6.如权利要求5所述的基于卷积神经网络模型的中文分词方法，其特征在于，完成各通道权重调整后，将所述加权结果传输至两个全连接层，然后通过softmax函数将每个字的字符边界映射后转化为0至1的概率值，并以概率值最高者作为预测结果。

7.如权利要求3所述的基于卷积神经网络模型的中文分词方法，其特征在于，第一层卷积层包括三个一维卷积核，第一层卷积层的各一维卷积核的长度分别为1、3、5，第一层卷积层的各一维卷积核分别有128个通道；

第二层至第四层卷积层均包括长度为3的一维卷积核，第二层的一维卷积核、第三层的一维卷积核和第四层卷积层的一维卷积核均有384个通道。