[发明专利]一种中文分词的方法、装置和存储介质

权利要求书

1.一种中文分词的方法，其特征在于，包括以下步骤：

S1、获取待检测句子的第二语言译文句子；

S2、使用中文Bert预训练语言模型对待检测句子进行编码，获取整个句子语义信息的向量表征和句子向量表征序列；

S3、使用第二语言Bert预训练语言模型对译文句子进行编码，获取整个句子语义信息的向量表征；

S4、融合待检测句子和译文句子语义特征，得到待检测句子的每个字的预测类别；

S5、按照预测类别，对待检测句子切分，得到分词结果。

2.根据权利要求1所述的中文分词的方法，其特征在于，在步骤S1中，所述获得带检测句子的译文句子包括：

S11、读取待检测句子，通过翻译得到检索语句；

S12、根据所述检索语句在第二语言文本库里模糊检索得到最相似的第二语言译文句子。

3.根据权利要求1所述的中文分词的方法，其特征在于，在步骤S4中，所述预测类别包括词首、词中、词尾和单独成词。

4.根据权利要求1所述的中文分词的方法，其特征在于，在步骤S4中，所述预测类别由以下步骤得到：

S41、将待检测句子文本的向量表征序列和译文句子的整体语义向量表征进行拼接，得到融合向量表征序列；

S42、将所述融合向量表征序列作为编码端输入，送入BilSTM网络得到其隐层输出，得到预测标签的概率分布矩阵；

S43、通过CRF层获得邻近标签之间的依赖关系，生成一个最优的预测序列，根据输出预测标签序列得到每个字的预测类别。

5.根据权利要求4所述的中文分词的方法，其特征在于，在步骤S43中，使用动态规划的Viterbi算法来求解最优的预测序列：；其中，argmax表示找到最优结果的函数，Y*作为输出预测标签序列，表示整个序列中句子X等于某一标签的打分。

6.根据权利要求4所述的中文分词的方法，其特征在于，在步骤S43中，根据输出预测标签序列得到每个字的预测类别之前，还包括对于句子属于某个预测类别进行打分：

；

其中，A是(k+2)×(k+2)为转移分数矩阵，P为发射矩阵，代表标签y_i转移为y_i+1的分数，表示字符i的第y_i个标签的分数；

利用Softmax得到归一化后，句子X的标签等于Y的概率：

其中，表示整个序列中句子X等于某一标签的打分，Y_X表示所有可能的标签序列；模型训练时通过最大化对数似然函数实现，采用最大似然估计求解P(Y|X)的最大后验概率：

7.根据权利要求4所述的中文分词的方法，其特征在于，在步骤S42中，所述概率分布矩阵的表达式为：其中P∈R^m×n，n为序列长度，m等于预测类别数量；和分别表示BiLSTM前向和后向两个方向的输出向量。

8.根据权利要求1所述的中文分词的方法，其特征在于，在步骤S2中，Bert预训练语言模型以字为单位对文本序列进行编码。

9.一种中文分词的装置，其特征在于，包括：

获取单元，用于获取待检测句子的第二语言译文句子；

第一编码单元，用于使用中文Bert预训练语言模型对待检测句子进行编码，获取整个句子语义信息的向量表征和句子向量表征序列；

第二编码单元，用于使用第二语言Bert预训练语言模型对译文句子进行编码，获取整个句子语义信息的向量表征；

融合单元，用于融合待检测句子和译文句子语义特征，得到待检测句子的每个字的预测类别；

切分单元，用于按照预测类别，对待检测句子切分，得到分词结果。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的中文分词的方法的步骤。