[发明专利]语料清洗方法、装置、设备及介质

权利要求书

1.一种语料清洗方法，包括：

获取句向量提取模型结构，其中，所述句向量提取模型结构取自于预先训练出的用于评估问句与答句的匹配情况的问答对模型的一部分，并用于提取输入的问句或答句的句向量；

从作为待清洗问答对的全部语料之中提取至少一部分语料；

获取所述至少一部分语料的标注结果，其中，所述标注结果指示语料是否适于作为问答对使用；

基于所述至少一部分语料及其标注结果构成的训练集来训练分类模型，其中，所述分类模型基于由句向量提取模型结构从输入语料的问答对之中的问句和答句分别提取的句向量，来评估所述语料是否适于作为问答对使用；以及

利用训练出的分类模型，从所述全部语料之中的未标记语料筛选出适于作为问答对使用的语料。

2.根据权利要求1所述的语料清洗方法，其中，所述句向量提取模型结构包括嵌入层和关联层，所述嵌入层用于获取输入的问句或答句中各个单词的词向量，所述关联层用于基于所述各个单词的词向量得到进一步携带词序信息的句向量。

3.根据权利要求2所述的语料清洗方法，其中，所述关联层为长短期记忆神经网络层、循环神经网络层和/或卷积神经网络层。

4.根据权利要求1所述的语料清洗方法，其中，所述获取句向量提取模型结构的步骤包括：从外部接收句向量提取模型结构；或者，

所述获取句向量提取模型结构的步骤包括：利用预先构建的匹配问答对和不匹配问答对来训练问答对模型，所述问答对模型包括所述句向量提取模型结构和匹配运算结构，其中，所述匹配运算结构用于基于提取的句向量来获取问答对之中的问句与答句之间的匹配程度；从训练完毕的问答对模型中取出句向量提取模型结构。

5.根据权利要求4所述的语料清洗方法，其中，所述问答对模型以尽量区分开匹配问答对与不匹配问答对为目标而进行训练，其中，所述匹配运算结构为相似度计算单元或神经网络结构。

6.根据权利要求1所述的语料清洗方法，其中，所述分类模型包括：

拼接层，用于将由句向量提取模型结构从输入语料的问答对之中的问句和答句分别提取的句向量进行拼接，以得到输入语料所对应的拼接向量；以及

附加层，用于基于拼接向量来输出关于对应的输入语料是否适于作为问答对使用的分类结果。

7.根据权利要求6所述的语料清洗方法，其中，所述附加层为至少一个全连接层。

8.一种语料清洗装置，包括：

第一获取单元，用于获取句向量提取模型结构，其中，所述句向量提取模型结构取自于预先训练出的用于评估问句与答句的匹配情况的问答对模型的一部分，并用于提取输入的问句或答句的句向量；

提取单元，用于从作为待清洗问答对的全部语料之中提取至少一部分语料；

第二获取单元，用于获取所述至少一部分语料的标注结果，其中，所述标注结果指示语料是否适于作为问答对使用；

训练单元，用于基于所述至少一部分语料及其标注结果构成的训练集来训练分类模型，其中，所述分类模型基于由句向量提取模型结构从输入语料的问答对之中的问句和答句分别提取的句向量，来评估所述语料是否适于作为问答对使用；以及

筛选单元，用于利用训练出的分类模型，从所述全部语料之中的未标记语料筛选出适于作为问答对使用的语料。

9.一种计算设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至7中任何一项所述的方法。

10.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至7中任一项所述的方法。