[发明专利]自然语言处理的方法及装置

权利要求书

1.一种计算机执行的自然语言处理的方法，所述方法包括：

获取经过人工标注的多个文本作为初始样本；

确定所述初始样本中各个文本分别对应的各个文本矩阵；

对所述初始样本中的各个文本分别通过预先存储的扩展方案集中的至少一个扩展方案进行扩展，并根据扩展得到的文本生成扩展样本，其中，针对所述初始样本中的各个文本，文本矩阵满足一致性条件的文本对应相同的扩展方案；

将所述初始样本和所述扩展样本共同作为训练样本训练自然语言处理模型；

对所训练的自然语言处理模型进行评估，并在评估结果满足预定条件的情况下，输出当前自然语言处理模型，以用于自然语言处理。

2.根据权利要求1所述的方法，其中，所述通过人工标注的多个文本是经过分词、去除停用词的预处理的文本。

3.根据权利要求1所述的方法，其中，所述一致性条件包括以下至少一项：

对应的文本矩阵长度和宽度的偏差都在预定范围内；

矩阵相似度大于预定矩阵相似度阈值；

聚类到同一类别。

4.根据权利要求1所述的方法，其中，所述扩展方案包括词向量扩展，所述词向量包括以下至少一种：基于词嵌入的词向量、基于笔画的词向量、基于词缀的词向量。

5.根据权利要求4所述的方法，其中，所述初始样本中的多个文本包括第一文本，所述第一文本包括第一词汇；以及

所述对所述初始样本中的各个文本分别通过扩展方案集中的至少一个扩展方案进行扩展包括：

针对所述第一词汇，检测语料库中是否存在与所述第一词汇的词向量的相似度大于预定词汇相似度阈值的相似词汇；

在存在所述相似词汇的情况下，用所述相似词汇替换所述第一词汇，以对所述第一文本进行扩展。

6.根据权利要求1所述的方法，其中，所述扩展方案包括多语种翻译扩展，所述初始样本中的多个文本包括第一文本，所述第一文本通过第一语言描述；

所述对所述初始样本中的各个文本分别通过扩展方案集中的至少一个扩展方案进行扩展包括：

将所述第一文本通过语言转换模型翻译成第二语言描述的第二文本；

将所述第二文本通过语言转换模型翻译成通过所述第一语言描述的第三文本；

根据所述第三文本确定扩展得到的文本。

7.根据权利要求1所述的方法，其中，所述将扩展得到的文本生成扩展样本包括：

通过预先训练的标注模型对扩展所得到的文本进行标注，并将标注结果和对应的扩展得到的文本一起形成扩展样本。

8.根据权利要求1所述的方法，其中，所述预定条件包括以下至少一项：

所训练的自然语言处理模型的曲线下面积AUC大于第一阈值；

所训练的自然语言处理模型的平衡F分数大于第二阈值，其中，所述平衡F分数是准确率和召回率的加权平均。

9.一种自然语言处理的装置，所述装置包括：

获取单元，配置为获取经过人工标注的多个文本作为初始样本；

确定单元，配置为确定所述初始样本中各个文本分别对应的各个文本矩阵；

扩展单元，配置为对所述初始样本中的各个文本分别通过预先存储的扩展方案集中的至少一个扩展方案进行扩展，并根据扩展得到的文本生成扩展样本，其中，针对所述初始样本中的各个文本，文本矩阵满足一致性条件的文本对应相同的扩展方案；

训练单元，将所述初始样本和所述扩展样本共同作为训练样本训练自然语言处理模型；

评估单元，对所训练的自然语言处理模型进行评估，并在评估结果满足预定条件的情况下，输出当前自然语言处理模型，以用于自然语言处理。

10.根据权利要求9所述的装置，其中，所述通过人工标注的多个文本是经过分词、去除停用词的预处理的文本。