[发明专利]一种中文分词的方法、装置和存储介质

说明书

本发明公开一种中文分词的方法、装置和存储介质，属于自然语言处理技术领域。该中文分词的方法，包括以下步骤：S1、获取待检测句子的第二语言译文句子；S2、使用中文Bert预训练语言模型对待检测句子进行编码，获取整个句子语义信息的向量表征和句子向量表征序列；S3、使用第二语言Bert预训练语言模型对译文句子进行编码，获取整个句子语义信息的向量表征；S4、融合待检测句子和译文句子语义特征，得到待检测句子的每个字的预测类别；S5、按照预测类别，对待检测句子切分，得到分词结果。该方法提高了分词的准确性，尤其对于外来词具有较好分词效果。

技术领域

本发明涉及自然语言处理技术领域，具体涉及一种中文分词的方法、装置和存储介质。

背景技术

在处理文本对象时，非常关键的问题在于“切词”这个环节，几乎所有的后续结果都依赖第一步的切词。因此切词的准确性在很大程度上影响着后续的处理，切词结果的不同，也就影响了特征的提取。目前很多的切词模块可以处理大部分的通用语料，然而有两类文本集仍然处理的不是很好，就是：网络文档和领域文档。这两类文本的特点在于包含大量新词，一般词典的涵盖程度比较低。因此，中文分词的准确性是我们当下需要解决的问题。

发明内容

本发明的目的在于克服上述技术不足，提供一种中文分词的方法、装置和存储介质，解决现有技术中如何提高中文分词的准确性的技术问题。

为达到上述技术目的，本发明的技术方案提供一种中文分词的方法，包括以下步骤：

S1、获取待检测句子的第二语言译文句子；

S2、使用中文Bert预训练语言模型对待检测句子进行编码，获取整个句子语义信息的向量表征和句子向量表征序列；

S3、使用第二语言Bert预训练语言模型对译文句子进行编码，获取整个句子语义信息的向量表征；

S4、融合待检测句子和译文句子语义特征，得到待检测句子的每个字的预测类别；

S5、按照预测类别，对待检测句子切分，得到分词结果。

进一步地，在步骤S1中，所述获得带检测句子的译文句子包括：

S11、读取待检测句子，通过翻译得到检索语句；

S12、根据所述检索语句在第二语言文本库里模糊检索得到最相似的第二语言译文句子。

进一步地，在步骤S4中，所述预测类别包括词首、词中、词尾和单独成词。

进一步地，在步骤S4中，所述预测类别由以下步骤得到：

S41、将待检测句子文本的向量表征序列和译文句子的整体语义向量表征进行拼接，得到融合向量表征序列；

S42、将所述融合向量表征序列作为编码端输入，送入BilSTM网络得到其隐层输出，得到预测标签的概率分布矩阵；

S43、通过CRF层获得邻近标签之间的依赖关系，生成一个最优的预测序列，根据输出预测标签序列得到每个字的预测类别。

进一步地，在步骤S43中，使用动态规划的Viterbi算法来求解最优的预测序列：；其中，argmax表示找到最优结果的函数，，Y*作为输出预测标签序列，表示整个序列中句子X等于某一标签的打分。

进一步地，在步骤S43中，根据输出预测标签序列得到每个字的预测类别之前，还包括对于句子属于某个预测类别进行打分：

；

其中，A是(k+2)×(k+2)为转移分数矩阵，P为发射矩阵，代表标签y_i转移为y_i+1的分数，表示字符i的第y_i个标签的分数；