[发明专利]基于人工智能的分词模型的修正方法、装置、设备和介质

权利要求书

1.一种基于人工智能的分词模型的修正方法，其特征在于，包括：

获取分词模型的模型参数，同时，通过神经网络对第一训练语料的设定泛化特征对应的特征向量进行训练得到所述设定泛化特征的模型参数；

根据所述分词模型的模型参数和所述设定泛化特征的模型参数对所述第一训练语料进行分词处理，得到分词结果；

根据设定规则比较所述分词结果与所述第一训练语料，依据比较结果修正所述分词模型的模型参数和神经网络参数；

其中，所述根据所述分词模型的模型参数和所述设定泛化特征的模型参数对所述第一训练语料进行分词处理，得到分词结果，包括：

根据所述分词模型的模型参数和所述第一训练语料，获得第一发射矩阵和第一转移矩阵，根据所述设定泛化特征的模型参数和所述第一训练语料，获得第二发射矩阵和第二转移矩阵；

根据所述第一发射矩阵和所述第二发射矩阵，生成第三发射矩阵；

根据所述第三发射矩阵和所述第二转移矩阵对所述第一训练语料进行分词处理，得到分词结果。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一发射矩阵和所述第二发射矩阵，生成第三发射矩阵，包括：

将所述第一发射矩阵和所述第二发射矩阵相加，生成第三发射矩阵。

3.根据权利要求1所述的方法，其特征在于，所述获取分词模型的模型参数，包括：

通过结构化感知机对第二训练语料进行训练，得到一字词向量、两字词向量和第三转移矩阵；

根据所述一字词向量、所述两字词向量和所述第三转移矩阵生成分词模型的模型参数。

4.根据权利要求3所述的方法，其特征在于，在所述通过结构化感知机对第二训练语料进行训练，得到一字词向量、两字词向量和第三转移矩阵之前，包括：

获取基于统计的无监督分词模型；

使用所述无监督分词模型对大量语料进行分词处理，得到所述第二训练语料。

5.根据权利要求1所述的方法，其特征在于，所述根据设定规则比较所述分词结果与所述第一训练语料，依据比较结果修正所述分词模型的模型参数和神经网络参数，包括：

根据设定规则比较所述分词结果与所述第一训练语料，得到比较结果；

降低所述分词模型的学习率；

依据比较结果修正降低学习率后的所述分词模型的模型参数和所述神经网络参数。

6.根据权利要求1所述的方法，其特征在于，所述设定泛化特征包括下述至少一项：

词向量特征、两字统计特征、三字统计特征和词典特征。

7.一种基于人工智能的分词模型的修正装置，其特征在于，包括：

模型参数获取模块，用于获取分词模型的模型参数，同时，通过神经网络对第一训练语料的设定泛化特征对应的特征向量进行训练得到所述设定泛化特征的模型参数；

分词处理模块，用于根据所述分词模型的模型参数和所述设定泛化特征的模型参数对所述第一训练语料进行分词处理，得到分词结果；

模型参数修正模块，用于根据设定规则比较所述分词结果与所述第一训练语料，依据比较结果修正所述分词模型的模型参数和神经网络参数；

其中，分词处理模块，具体用于：

根据所述分词模型的模型参数和所述第一训练语料，获得第一发射矩阵和第一转移矩阵，根据所述设定泛化特征的模型参数和所述第一训练语料，获得第二发射矩阵和第二转移矩阵；

根据所述第一发射矩阵和所述第二发射矩阵，生成第三发射矩阵；

根据所述第三发射矩阵和所述第二转移矩阵对所述第一训练语料进行分词处理，得到分词结果。

8.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的基于人工智能的分词模型的修正方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一项所述的基于人工智能的分词模型的修正方法。