[发明专利]文本序列分词方法、装置及存储介质

权利要求书

1.一种文本序列分词方法，其特征在于，所述方法包括：

接收输入的文本序列，通过n个分词模型分别对所述文本序列进行分词处理；

获取所述文本序列的n个分词子结果；所述分词子结果指示所述文本序列中的各个分词位置的分词状态；所述分词位置是所述文本序列中每两个相邻字符之间的位置；所述分词状态指示在对应的分词位置是否分词；n为大于或者等于2的整数；

通过结果合并模型中的概率确定模型分支对所述n个分词子结果进行处理，获取所述各个分词位置的分词概率；

通过所述结果合并中的激活函数对所述各个分词位置处的分词概率进行处理，获取所述文本序列的分词结果。

2.根据权利要求1所述的方法，其特征在于，所述分词子结果包括所述文本序列中的各个分词位置各自的状态值，所述状态值用于指示对应分词位置的分词状态；

所述通过结果合并模型中的概率确定模型分支对所述n个分词子结果进行处理，获取所述各个分词位置的分词概率，包括：

通过所述概率确定模型分支，根据所述各个分词位置分别对应在所述n个分词子结果中的状态值，获取所述各个分词位置的分词概率。

3.根据权利要求2所述的方法，其特征在于，所述概率确定模型分支中包含所述n个分词模型各自的权重；所述通过所述概率确定模型分支，根据所述各个分词位置分别对应在所述n个分词子结果中的状态值，获取所述各个分词位置的分词概率，包括：

通过所述概率确定模型分支，根据所述各个分词位置分别对应在所述n个分词子结果中的状态值，以及所述n个分词模型各自的权重，获取所述各个分词位置的分词加权值；

通过所述概率确定模型分支，对所述各个分词位置的分词加权值进行归一化处理，获得所述各个分词位置的分词概率；

其中，所述结果合并模型是根据文本序列样本的n个分词子结果样本，以及所述文本序列样本的标注分词结果训练获得的机器学习模型，所述n个分词子结果样本是通过所述n个分词模型分别对所述文本序列样本进行分词处理获得的；所述n个分词模型各自的权重是所述结果合并模型的模型参数。

4.根据权利要求3所述的方法，其特征在于，所述通过所述概率确定模型分支，根据所述各个分词位置分别对应在所述n个分词子结果中的状态值，以及所述n个分词模型各自的权重，获取所述各个分词位置的分词加权值，包括：

将目标分词位置分别对应在所述n个分词子结果中的状态值，分别与各自对应的分词模型的权重相乘后求和，获得所述目标分词位置的分词加权值；所述目标分词位置是所述各个分词位置中的任意一个分词位置。

5.根据权利要求2所述的方法，其特征在于，当所述状态值为0时，表示在对应的分词位置未分词，当所述状态值为1时，表示在对应的分词位置分词；

所述根据所述各个分词位置分别对应在所述n个分词子结果中的状态值，获取所述各个分词位置的分词概率，包括：

对目标分词位置分别对应在所述n个分词子结果中的状态值取平均值，获得所述目标分词位置的分词概率；所述目标分词位置是所述各个分词位置中的任意一个分词位置。

6.根据权利要求1至5任一所述的方法，其特征在于，所述通过所述结果合并模型中的激活函数对所述各个分词位置处的分词概率进行处理，获取所述文本序列的分词结果，包括：

通过所述激活函数对所述各个分词位置处的分词概率进行二值化处理，获得所述文本序列的二值化序列；

根据所述二值化序列获取所述文本序列的分词结果。

7.根据权利要求1至5任一所述的方法，其特征在于，所述方法还包括：

通过所述文本序列，以及所述文本序列的分词结果训练分词模型。