[发明专利]知识库的检验方法、装置及终端

说明书

一种知识库的检验方法、装置及终端，所述知识库包括多个问题，所述方法包括：接收多个测试问和其对应的期待问题，所述期待问题为所述知识库中的问题；对于所述测试问，计算每个所述测试问与所述知识库中所述多个问题的最高语义相似度；基于所述最高语义相似度确定每个所述测试问的检验结果，所述检验结果包括所述测试问是否匹配到所述知识库中的问题，以及在匹配到所述知识库中的问题时，匹配的问题是否与所述测试问对应的期待问题一致。本发明技术方案提高了知识库检验的便捷性和检验效率。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种知识库的检验方法、装置及终端。

背景技术

随着智能问答技术的发展，越来越多的平台(例如，QQ、Skype、电商客服系统、MSN平台、微信平台、短消息服务平台等)内都在采用智能问答系统。应用于智能问答系统的知识库中存储多个知识点，每个知识点包括一个或多个预设的问题以及对应的答案信息。当用户通过输入请求信息提出问题时，获取请求信息与预设问题的语义相似度，如果存在语义相似度大于预设阈值的预设问题，则将该问题对应的答案信息返回给用户。也就是智能问答系统可以基于用户的问题从知识库输出相对应的答案。

在智能问答系统中，为了保证答案输出的准确性，需要对知识库输出的答案的正确性进行验证。现有智能问答系统在检验知识库的正确性时，通常直接在智能问答系统前端输入问句，并判断是否与预期答案一致；然后通过多次输入和判断，统计出准确率。

但是，现有的检验方式需要多个测试人员重复输入，且仅关注智能问答系统的输出答案的准确性；针对错误回复的用户问句分别分析其原因，花费大量人力和精力。尤其在智能问答系统中的知识库发生变更时，需要重复以上动作，非常耗时耗力。

发明内容

本发明解决的技术问题是如何提高知识库检验的便捷性和检验效率。

为解决上述技术问题，本发明实施例提供一种知识库的检验方法，知识库的检验方法包括：

接收多个测试问和其对应的期待问题，所述期待问题为所述知识库中的问题；对于所述测试问，计算每个所述测试问与所述知识库中所述多个问题的最高语义相似度；基于所述最高语义相似度确定每个所述测试问的检验结果，所述检验结果包括所述测试问是否匹配到所述知识库中的问题，以及在匹配到所述知识库中的问题时，匹配的问题是否与所述测试问对应的期待问题一致。

可选的，所述知识库的检验方法还包括：若确定所述检验结果为未匹配到所述知识库中的问题，或者确定匹配的问题与所述期待问题不一致，则对所述测试问进行标记，以提示基于被标记的测试问的期待问题对所述知识库进行修改。

可选的，所述知识库的检验方法还包括：若确定所述检验结果为匹配到所述知识库中的问题时，且匹配的问题与所述期待问题一致，则所述测试问检验合格。

可选的，所述对所述测试问进行标记包括：在所述测试问未匹配到所述知识库中的问题时，对所述测试问增加第一标记；对于标记为所述第一标记的所述测试问，提示在所述知识库中修改所述测试问对应的期待问题。

可选的，所述对所述测试问进行标记包括：在匹配到所述知识库中的问题与所述测试问对应的期待问题不一致时，对所述测试问增加第二标记；对于标记为所述第二标记的所述测试问，提示在所述知识库中对所述测试问匹配到的问题和所述测试问对应的期待问题进行区分或合并。

可选的，所述基于所述最高语义相似度确定每个所述测试问检验结果包括：所述最高语义相似度达到第一阈值时，则确定所述测试问与所述知识库中的问题相匹配；所述最高语义相似度小于所述第一阈值时，则确定所述测试问未匹配到所述知识库中的问题；所述测试问与所述知识库中的问题相匹配时，判断所述知识库中的问题是否与所述期待问题一致。

可选的，所述知识库的检验方法还包括：根据所述检验结果计算检验准确率；调整所述第一阈值，直至所述检验准确率达到预设准确率。