[发明专利]聊天语料的清洗方法、装置、计算机设备和存储介质

权利要求书

1.一种聊天语料的清洗方法，其特征在于，所述方法包括：

获取聊天语料，所述聊天语料包括问语料和答语料；

将所述聊天语料进行分词处理，并将分词结果转换成词向量；

将所述词向量输入预设的深度检索匹配排序模型，获取与所述聊天语料对应的匹配分值；

根据所述匹配分值对所述聊天语料进行清洗。

2.根据权利要求1所述的聊天语料的清洗方法，其特征在于，所述将所述词向量输入预设的深度检索匹配排序模型，获取与所述聊天语料对应的匹配分值，还包括：

对所述问语料对应的词向量、所述答语料对应的词向量进行叉乘处理，按照预设的映射函数获取叉乘处理结果的预设数量的映射值，根据预设的激活函数、预设的投影函数获取与所述映射值对应的匹配分值。

3.根据权利要求1所述的聊天语料的清洗方法，其特征在于，所述将分词结果转换成词向量之后，还包括：

按照预设的长度阈值对所述词向量进行长度改写。

4.根据权利要求1所述的聊天语料的清洗方法，其特征在于，所述根据所述匹配分值对所述聊天语料进行清洗，还包括：

判断所述匹配分值是否大于或等于预设的匹配阈值；

在所述匹配分值小于所述匹配阈值的情况下，对所述聊天语料进行清洗。

5.根据权利要求1所述的聊天语料的清洗方法，其特征在于，所述方法还包括：

获取训练语料，根据所述训练语料构建问答对语料；

将所述问答对语料进行分词处理，并将分词结果转换成词向量；

根据所述问答对语料对预设的深度检索匹配排序模型进行训练，获取训练完成的深度检索匹配排序模型。

6.根据权利要求5所述的聊天语料的清洗方法，其特征在于，所述问答对语料包括训练问语料、第一答语料和第二答语料；

所述词向量包括问语料词向量、第一答语料词向量、第二答语料词向量；

所述根据所述问答对语料对预设的深度检索匹配排序模型进行训练，还包括：

根据预设的深度检索匹配排序模型对所述转换成词向量的问答对语料进行评估预测，得到与所述问语料词向量、第一答语料词向量对应的第一匹配分值和与问语料词向量、第二答语料词向量匹配的第二匹配分值；

按照预设的损失函数以所述第一匹配分值、第二匹配分值为输入，输出对应的损失值；

按照预设的迭代算法对所述损失值进行更新迭代。

7.根据权利要求5所述的聊天语料的清洗方法，其特征在于，所述根据所述匹配分值对所述聊天语料进行清洗之后，还包括：

以所述清洗完成的聊天语料作为训练语料，对所述深度检索匹配排序模型进行训练，获取所述训练完成的深度检索匹配排序模型。

8.一种聊天语料的清洗装置，其特征在于，所述装置包括：

聊天语料获取模块，用于获取聊天语料，所述聊天语料包括问语料和答语料；

聊天语料处理模块，用于将所述聊天语料进行分词处理，并将分词结果转换成词向量，

模型计算模块，用于将所述词向量输入预设的深度检索匹配排序模型，获取与所述聊天语料对应的匹配分值；

语料清洗模块，用于根据所述匹配分值对所述聊天语料进行清洗。

9.一种计算机设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述聊天语料的清洗方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述聊天语料的清洗方法的步骤。