[发明专利]中文分词方法、电子装置及可读存储介质

说明书

本发明涉及数据分析技术领域，具体提供一种基于卷积神经网络模型的中文分词方法、电子装置及可读存储介质，该卷积神经网络模型的第四层卷积层构建有注意力机制，注意力机制用于调整各通道权重。本发明提供的中文分词方法，首先获取字向量字典，通过字向量字典将第二文本转化为训练信息，然后根据训练信息训练卷积神经网络模型，最后卷积神经网络模型根据输入的文本进行字符边界识别预测。通过卷积神经网络模型进行分词，消耗的资源更少，分词速度快，正确率高。在上述卷积神经网络模型的第四层卷积层处构建有注意力机制，在训练卷积神经网络模型时，该注意力机制的设置能够优化卷积神经网络模型，提高卷积神经网络模型预测的准确率。

技术领域

本发明涉及数据分析技术领域，具体地，涉及一种通过卷积神经网络模型进行中文分词的中文分词方法、电子装置及可读存储介质。

背景技术

随着互联网技术的发展，网络上出现的文本数量与日俱增，比如电子邮件、实时新闻、科技博文等等，产生了海量的文本类型的数据信息。人们对于信息分析和信息处理的需求越来越多，对这些文本类型的数据信息进行处理以获得所需要的信息的需求日益迫切。

在对文本类型的数据信息进行相应的数据分析时，首先需要进行分词处理，也就是将连贯的文字分解由一个个具有特定语言含义的单元组成的序列，这样的处理在中文的信息处理中表现的尤为突出。分词作为自然语言处理领域中的基础步骤，在自然语言处理中扮演着重要的角色。

因为中文分词与英文分词有所不同，英文分词是以词为单位，词与词之间用空格分隔，而中文分词是以字为单位，句子中所有的字连起来才能完整地表达某个含义。所谓中文分词就是将中文的汉字序列切分成有意义的词，也称为切词。例如，“知识就是力量”这句话的切词结果是“知识/就是/力量”。中文分词的准确程度，常常直接影响到搜索结果的相关度排序。

目前，文本分词算法一般是采用模板匹配的方式，比如基于文本匹配的分词算法、基于词典的分词算法等等，分词准确性完全依赖于模板，导致分词准确率较低。

发明内容

为了解决现有技术中分词准确率低的问题，本发明提供一种能够增加分词准确率，且能够快速分词的中文分词方法、电子装置及可读存储介质。

一方面，本发明提供一种基于卷积神经网络模型的中文分词方法，中文分词方法包括如下步骤：

第一步：获取文字字典，去除所述文字字典中的特殊符号和非中文字符，将文字字典中的各文字分隔为单独文字形式，所述单独文字形式的文字的集合为第一训练文本；

第二步：通过字向量训练将所述第一训练文本转化为字向量形式的第一字向量训练文本，根据所述第一训练文本和所述第一字向量训练文本确定字向量字典，所述字向量字典中记录有文字与字向量的对应关系；

第三步：获取带有分词标注的第二训练文本，根据所述字向量字典将所述第二训练文本转化为字向量形式的训练信息；

第四步：根据所述训练信息、预设的交叉熵损失函数和ADAM优化算法对所述卷积神经网络模型进行训练；

第五步：根据所述卷积神经网络模型的训练结果对输入的待分词的文本进行字符边界识别预测。

优选的，通过字向量训练将所述第一训练文本转化为字向量形式的第一字向量训练文本包括如下步骤：运行Word2Vec算法，基于所述Word2Vec算法对所述第一训练文本进行字向量训练，通过所述Word2Vec算法将所述第一训练文本转化为字向量形式的所述第一字向量训练文本。