[发明专利]一种知识挖掘方法、平台、系统及存储介质

说明书

本发明实施例公开了一种知识挖掘方法、平台、系统及存储介质，方法包括：从不同的数据源获取外部数据，将外部数据的结构统一转换为预设的内部结构，构建第一数据集；将所述第一数据集内的数据结构转换为挖掘节点的数据结构类型，构建第二数据集；根据所述挖掘节点的任务类型，同时执行N个相应的挖掘算法对所述第二数据集中的数据进行挖掘，生成知识结果集，N为大于等于1的正整数；对所述知识结果集中的知识结果进行去重处理。本方法有效的减少了运营的重复性工作，可以快速进行梳理日志文档数据、标准问语料扩写或构建知识图谱等工作。能够快速适配不同的数据源，更快速的完成项目冷启动。

技术领域

本发明涉及计算机软件技术领域，具体涉及一种知识挖掘方法、平台、系统及存储介质。

背景技术

在现有的智能问答机器人中，运营人员在准备准备机器人数据步骤繁琐，需要将大量结构不同的数据转化为机器人可用的数据结构，然后对转换后的数据进行挖掘处理。现有的挖掘平台在对大量数据源进行挖掘处理时效率低下，耗时长。面对新的项目的机器人，准备机器人数据速度慢，无法完成冷启动。

发明内容

针对现有技术中的技术缺陷，本发明实施例的目的在于提供一种知识挖掘方法、平台、系统及存储介质，以解决背景技术中所提出的技术问题。

为实现上述目的，第一方面，本申请提供了一种知识挖掘方法，包括：

从不同的数据源获取外部数据，将外部数据的结构统一转换为预设的内部结构，构建第一数据集；

将所述第一数据集内的数据结构转换为挖掘节点的数据结构类型，构建第二数据集；

根据所述挖掘节点的任务类型，同时执行N个相应的挖掘算法对所述第二数据集中的数据进行挖掘，生成知识结果集，N为大于等于1的正整数；

对所述知识结果集中的知识结果进行去重处理。

可选的，通过数据下载软件从数据源获取外部数据。

可选的，所述挖掘节点的任务类型包括标准问语料扩写、构建知识图谱和挖掘日志聚类中的一种。

可选的，对所述知识结果集中的知识结果进行去重处理，具体包括：

采用逐一比对的方法计算所述知识结果集中不同知识结果之间的相似度，去除所述知识结果集中相似度高于阈值的两条知识结果之一。

可选的，相似度高于阈值的两条知识结果包括重合的两条知识结果。

可选的，所述方法还包括：

对去重处理后的所述知识结果集进行存储。

可选的，对去重处理后的所述知识结果集进行存储，具体包括：

将知识结果和与每个所述知识结果一一对应的数据源和挖掘算法进行分层存储，每一层均存储到缓存器中。

第二方面，本申请还提供了一种知识挖掘平台，包括：

第一数据集构建模块，用于从不同的数据源获取外部数据，将外部数据的结构统一转换为预设的内部结构，构建第一数据集；

第二数据集构建模块，用于将所述第一数据集内的数据结构转换为挖掘节点的数据结构类型，构建第二数据集；

知识结果集生成模块，用于根据所述挖掘节点的任务类型，同时接入、执行N个相应的挖掘算法对所述第二数据集中的数据进行挖掘，生成知识结果集，N为大于等于1的正整数；

去重处理模块，用于对所述知识结果集中的知识结果进行去重处理。