[发明专利]一种异构数据融合方法及装置

说明书

本公开涉及一种异构数据融合方法及装置，该方法应用于具有用户界面的终端设备，方法包括：获取预先构建的知识图谱；其中，知识图谱包括异构元数据和元数据之间的关系，且元数据包括数据表、主题和字段；响应于针对主题的检索操作，从知识图谱的数据表中检索主题下的目标数据表；响应于针对字段的融合操作，提取目标数据表中字段对应的目标数据，并融合输出目标数据。本公开实现异构数据源的数据融合的操作方式简单，降低了数据运维人员的介入成本、维护难度。

技术领域

本公开涉及数据处理技术领域，尤其涉及一种异构数据融合方法及装置。

背景技术

随着大数据时代的发展，数据资产已经成为提高产业竞争力的关键要素。企业为了给人们提供更多更优质的服务，构建了各种业务系统。不同的业务系统，由于来自不同的软件供应商与数据库厂商，数据标准和业务系统规则存在很大的差异性。随着时间的推移，很多业务系统的维护难度变得很大，各系统间相互独立，数据无法共享和融合，在各自内部逐渐形成了“信息孤岛”。为了数据的流动共享，以及进一步深加工提升数据价值，异构数据源的数据融合成为了一种迫切的需求。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种异构数据融合方法及装置。

本公开提供了一种异构数据融合方法，所述方法应用于具有用户界面的终端设备，所述方法包括：获取预先构建的知识图谱；其中，所述知识图谱包括异构元数据和所述元数据之间的关系，且所述元数据包括数据表、主题和字段；响应于针对主题的检索操作，从所述知识图谱的数据表中检索所述主题下的目标数据表；响应于针对字段的融合操作，提取所述目标数据表中所述字段对应的目标数据，并融合输出所述目标数据。

进一步，所述提取所述目标数据表中所述字段对应的目标数据，包括：基于数据库内核算法，确定所述目标数据表之间的关联强度；从所述目标数据表中选取关联强度高于预设强度阈值的数据表；在选取的数据表中提取所述字段对应的目标数据。

进一步，所述数据库内核算法包括以下中的一种或多种：路径查找算法、中心度算法、社区发现算法和谱聚类算法。

进一步，所述方法还包括：基于不同的数据库ip获取数据库结构；其中，所述数据库结构为存放相关联的有结构的数据库的结构；基于数据库内核算法解析所述数据库结构中各数据库的数据定义信息、数据之间的关联关系、数据血缘关系和/或元数据分组信息；根据解析结果构建所述数据库结构对应的所述知识图谱。

进一步，所述知识图谱中的所述元数据还包括：数据库、系统目录、主题域、对象；所述知识图谱中的所述关系包括：拥有、创建、包含、关联、流向、指向、业务关联、业务拥有、业务连接。

进一步，所述融合操作包括选取操作和输出操作；所述响应于针对字段的融合操作，提取所述目标数据表中所述字段对应的目标数据，并融合输出所述目标数据，包括：响应于所述选取操作，确定所述主题下的至少一个目标字段；响应于所述输出操作，提取所述目标数据表中所述目标字段对应的目标数据，并融合输出所述目标数据。

本公开还提供了一种异构数据融合装置，所述装置应用于具有用户界面的终端设备，所述装置包括：知识图谱获取模块，用于获取预先构建的知识图谱；其中，所述知识图谱包括异构元数据和所述元数据之间的关系，且所述元数据包括数据表、主题和字段；检索模块，用于响应于针对主题的检索操作，从所述知识图谱的数据表中检索所述主题下的目标数据表；融合输出模块，用于响应于针对字段的融合操作，提取所述目标数据表中所述字段对应的目标数据，并融合输出所述目标数据。

进一步，所述融合输出模块还用于：基于数据库内核算法，确定所述目标数据表之间的关联强度；从所述目标数据表中选取关联强度高于预设强度阈值的数据表；在选取的数据表中提取所述字段对应的目标数据。