[发明专利]文本处理方法、装置、计算机设备和存储介质

权利要求书

1.一种文本处理方法，其特征在于，所述方法包括：

获取第一训练文本；

若所述第一训练文本的长度大于预设长度阈值，则对所述第一训练文本中的语义无关词进行去除处理，得到处理文本；

获取所述处理文本中各个分词对应的词向量，得到初始词向量序列；

根据所述初始词向量序列进行统计，得到所述第一训练文本中的去除词对应的统计词向量；

根据所述去除词在所述第一训练文本中的位置将所述统计词向量加入到所述初始词向量序列中，得到目标词向量序列；

根据所述目标词向量序列对文本识别模型进行训练，得到训练后的文本识别模型。

2.根据权利要求1所述的方法，其特征在于，所述若所述第一训练文本的长度大于预设长度阈值，则对所述第一训练文本中的语义无关词进行去除处理，得到处理文本包括：

若所述第一训练文本的长度大于预设长度阈值，则获取所述第一训练文本中的目标实体，所述目标实体包括所述第一训练文本中的首实体或者所述第一训练文本中的尾实体的至少一个；

将所述第一训练文本中所述目标实体对应的端部词作为不满足语义要求的语义无关词，所述端部词为位于所述第一训练文本的前端或者后端的词；

对所述第一训练文本中的语义无关词进行去除处理，得到处理文本。

3.根据权利要求2所述的方法，其特征在于，所述将所述第一训练文本中，所述目标实体对应的端部词作为不满足语义要求的语义无关词包括以下步骤的至少一个；

若所述目标实体包括所述第一训练文本中的首实体，则将所述第一训练文本中，所述首实体之前的词作为不满足语义要求的语义无关词；

若所述目标实体包括所述第一训练文本中的尾实体时，则将所述第一训练文本中，所述尾实体之后的词作为不满足语义要求的语义无关词。

4.根据权利要求1所述的方法，其特征在于，所述根据所述初始词向量序列进行统计，得到所述第一训练文本中的去除词对应的统计词向量包括：

对所述初始词向量序列的各个词向量中，相同位置的向量值进行统计，得到各个向量维度对应的统计值；

根据所述向量维度对应的统计值确定所述统计词向量中对应维度的向量值，得到所述统计词向量。

5.根据权利要求4所述的方法，其特征在于，所述统计值包括均值以及标准差，所述根据所述向量维度对应的统计值确定所述统计词向量中对应维度的向量值，得到所述统计词向量包括：

将所述标准差与对应的向量维度的目标系数相乘，得到乘积；

将所述均值减去所述乘积，得到所述统计词向量中对应维度的向量值。

6.根据权利要求5所述的方法，其特征在于，得到所述目标系数的步骤包括：

获取所述初始词向量序列中，所述向量维度对应的向量值在各个数值范围的分布数量；

根据各个所述数值范围的分布数量确定所述目标系数。

7.根据权利要求1所述的方法，其特征在于，所述处理文本中各个分词对应的词向量是基于训练后的词向量模型得到的，训练词向量模型的步骤包括：

获取第二训练文本，获取所述第二训练文本中的专有实体；

获取预设的词语条件概率，作为所述专有实体与对应的近邻实体之间的词语条件概率，所述专有实体对应的近邻实体为所述第二训练文本中，与所述专有实体的距离小于距离阈值的实体；

根据所述词语条件概率以及所述第二训练文本对词向量模型进行训练，得到训练后的词向量模型。