[发明专利]可视化治理数据的方法及系统

权利要求书

1.一种可视化治理数据的方法，其特征在于，包括：

数据接入步骤：通过数据类接入算子接入数据库；

数据治理步骤：通过数据治理算子配置治理过程中的表结构转换和数据格式转换；

知识图谱数据融合步骤：通过知识图谱数据融合类算子进行知识图谱数据融合；

数据输出步骤：将治理完成的数据结果，输入到指定的业务数据库，通过NEST输出算子定向写入NEST数据库；

画布的可视化配置步骤：通过表将上述算子处理好的数据进行落地。

2.如权利要求1所述的一种可视化治理数据的方法，其特征在于，所述数据接入步骤包括：

JDBC输入步骤：通过JDBC输入算子接入支持JDBC的数据库；

externalHive输入步骤：通过externalHive输入算子接入Hive数据。

3.如权利要求1所述的一种可视化治理数据的方法，其特征在于，所述数据治理步骤包括：所述数据治理算子包括规则映射算子，所述规则映射算子配置治理过程中的表结构转换和数据格式转换。

4.如权利要求1所述的一种可视化治理数据的方法，其特征在于，所述知识图谱数据融合步骤包括：

实体融合步骤：通过实体融合算子将结构化数据治理完成后的数据，整合成知识图谱所需要的实体数据；

关系对偶步骤：通过对偶算子将结构化数据治理完成后的数据，整合成知识图谱所需要的关系数据；

事件去重步骤：通过事件去重算子将结构化数据治理完成后的数据，整合成知识图谱所需要的事件数据。

5.如权利要求1所述的一种可视化治理数据的方法，其特征在于，所述画布的可视化配置步骤包括：

从数据源中抽取数据，经过JDBC接入后，落地到第一中间表中，将中间表中的数据映射到第二中间表中；再将第二中间表的数据按照知识图谱的实体表要求做实体融合，落地到目标表中；最后将目标表的数据输出写入所述NEST数据库中。

6.一种可视化治理数据的系统，其特征在于，包括：

数据接入模块，所述数据接入模块通过数据类接入算子接入数据库；

数据治理模块，所述数据治理模块通过规则映射算子配置治理过程中的表结构转换和数据格式转换；

知识图谱数据融合模块，所述知识图谱数据融合模块通过知识图谱数据融合类算子进行知识图谱数据融合；

数据输出模块，所述数据输出模块将治理完成的数据结果，输入到指定的业务数据库，通过NEST输出算子定向写入NEST数据库；

画布的可视化配置模块，所述画布的可视化配置模块通过表将上述算子处理好的数据进行落地。

7.如权利要求6所述的一种可视化治理数据的系统，其特征在于，所述数据接入模块包括：

JDBC输入单元，所述JDBC输入单元通过JDBC输入算子接入支持JDBC的数据库；

externalHive输入单元，所述externalHive输入单元通过externalHive输入算子接入Hive数据。

8.如权利要求6所述的一种可视化治理数据的方法，其特征在于，所述数据治理模块包括通过所述规则映射算子配置治理过程中的表结构转换和数据格式转换。

9.如权利要求6所述的一种可视化治理数据的系统，其特征在于，所述知识图谱数据融合模块包括：

实体融合单元，所述实体融合单元通过实体融合算子将结构化数据治理完成后的数据，整合成知识图谱所需要的实体数据；

关系对偶单元，所述关系对偶单元通过对偶算子将结构化数据治理完成后的数据，整合成知识图谱所需要的关系数据；

事件去重单元，所述事件去重单元通过事件去重算子将结构化数据治理完成后的数据，整合成知识图谱所需要的事件数据。

10.如权利要求6所述的一种可视化治理数据的系统，其特征在于，所述画布的可视化配置模块包括：

从数据源中抽取数据，经过JDBC接入后，落地到第一中间表中，将中间表中的数据映射到第二中间表中；再将第二中间表的数据按照知识图谱的实体表要求做实体融合，落地到目标表中；最后将目标表的数据输出写入所述NEST数据库中。