[发明专利]一种数据整合的方法及装置

说明书

技术领域

本发明涉及数据处理领域，特别涉及一种数据整合的方法及装置。

背景技术

随着互联网技术的发展，互联网使生活及工作的模式发生了改变，为人 们的生活及工作带来了诸多便利。随着网联网用户数量的增加以及时间的推 移，产生了数量巨大的业务数据，如何合理有效的对业务数据进行整合及治 理，已经成为一个亟需解决的问题。

目前，在拥有大量数据的企事业单位或政府部门，如政府、医院、学校 及大型集团公司，对于产生的数据直接由经办人进行存储，由数据经办人负 责数据的维护及保存。

针对于现有技术数据处理的方法，由数据经办人直接对数据进行存储， 造成数据分布零散，产生信息孤岛，另外，由于数据由经办人进行维护及保 存，没有统一的标准对数据处理方法进行规范，导致不同数据差异性大，无 法实现对数据的挖掘及分析，因此，通过现有技术的数据处理方法对数据进 行处理，形成的数据质量较低。

发明内容

本发明提供一种数据整合的方法及装置，能够提高数据的质量。

本发明实施例提供了一种数据整合的方法，包括：

创建数据整合标准及数据目录标准；

根据所述数据整合标准，对目标数据进行整合处理，形成标准数据；

根据所述数据目录标准，对所述标准数据进行分类；

根据分类结果，将分类后的所述标准数据存储到预设的数据中心内对应 类型的存储区域中。

优选地，所述创建数据目录标准包括：根据国家、行业及地方数据业务 标准以及所述目标数据的所属领域，确定对所述目标数据进行分类的规则， 形成所述数据目录标准。

优选地，所述创建数据整合标准包括：根据所述目标数据的格式及内容， 创建对所述目标数据格式进行约束的元数据标准，并创建对所述目标数据内 容进行约束的数据字典标准，形成包括所述元数据标准及所述数据字典标准 的数据整合标准。

优选地，所述根据所述数据整合标准，对目标数据进行整合处理，形成 标准数据包括：

根据所述元数据标准，对所述目标数据的格式进行转换，形成格式符合 所述元数据标准的标准格式数据；

根据所述数据字典标准，对所述标准格式数据的内容进行过滤及转换， 形成内容符合所述数据字典标准且格式符合所述元数据标准的标准数据。

优选地，在所述根据所述数据目录标准，对所述标准数据进行分类之后 进一步包括：

对所述标准数据进行标签化处理，从所述标准数据中提取关键要素，形 成数据标签；

将所述数据标签与该数据标签对应的标准数据存储到所述数据中心内同 一个所述存储区域中。

优选地，该方法进一步包括：

根据所述数据中心内目标数据更新的频率及所述目标数据的类型，为不 同类型的目标数据创建对应的数据质量检测标准；

实时对所述数据中心内各个存储区域中存储的标准数据进行监控，并根 据所述数据质量检测标准及监控结果形成数据质量检测报告。

本发明实施例还提供了一种数据整合的装置，包括：创建单元、整合单 元、分类单元及存储单元；

所述创建单元，用于创建数据整合标准及数据目录标准；

所述整合单元，用于根据所述创建单元创建的数据整合标准，对目标数 据进行整合处理，形成标准数据；

所述分类单元，用于根据所述创建单元创建的数据目录标准，对所述整 合单元形成的标准数据进行分类；

所述存储单元，用于将所述分类单元分类后的所述标准数据存储到预设 的数据中心内对应类型的存储区域中。

优选地，所述创建单元，用于根据国家、行业及地方数据业务标准以及 所述目标数据的所属领域，确定对所述目标数据进行分类的规则，形成所述 数据目录标准。

优选地，所述创建单元，用于根据所述目标数据的格式及内容，创建对 所述目标数据格式进行约束的元数据标准，并创建对所述目标数据内容进行 约束的数据字典标准，形成包括所述元数据标准及所述数据字典标准的数据 整合标准。