[发明专利]一种数据集市间共享数据的方法及装置

说明书

本发明公开了一种数据集市间共享数据的方法及装置。所述方法包括从数据仓库中抽取数据文件，将所述数据文件复制到预先设置的集市存储共享区，作为所述数据文件的一个副本文件；在数据集市服务器中创建与所述集市存储共享区内的所述副本文件对应的外部表，所述外部表中包含指向所述集市存储共享区内的所述副本文件的存储路径，以使数据集市通过查询所述外部表获取与所述外部表对应的副本文件。本发明实现多个数据集市间数据共享的目的，避免了存储资源的浪费，解决了数据集市之间数据访问的一致性问题。

技术领域

本发明实施例涉及数据库技术领域，尤其涉及一种数据集市间共享数据的方法及装置。

背景技术

随着企业业务的发展，会产生大量的业务数据，通常企业会选择建立数据仓库来收集数据，并按主题划分存储这些数据。而企业中各个部门会有特定的数据需求，需要将数据仓库中收集的数据，通过一定逻辑加工后，推送到部门的数据集市中。参见图1所示，数据仓库和数据集市是一对多的关系，一份数据仓库中的数据，需要推送到多个部门的数据集市。

现有技术中，一般是采用配置一对一的数据推送任务脚本的方式，将数据仓库中的数据，按照一表一集市一任务的方式推送到数据集市。具体过程如下：

步骤一、在需要推送数据的数据集市中，将每个表配置推送规则，初始化相关的元数据和映射关系；

步骤二、按照一表一集市一任务的方式，为每个数据集市的每个表编写相关的数据推送脚本，并且在数据仓库的调度系统中部署这些脚本；

步骤三、按照数据推送规则，调度运行数据推送脚本，将数据拷贝到各个数据集市，在每个数据集市内形成一个数据文件副本。

由于针对每个数据集市，需要一份独立的数据文件副本，随着数据集市个数不断增加，相同数据的数据文件副本数越来越多，浪费数据集市的存储资源；同时，也增加数据的管理难度。并且，当数据仓库数据错误或其他原因，需要修复时，同时需要修复每个数据集市的数据文件副本，增加数据维护成本，也非常容易造成某些数据集市的数据文件副本没有及时更新，导致数据不一致。

发明内容

本发明提供一种数据集市间共享数据的方法及装置，以实现多个数据集市间数据共享的目的，避免了存储资源的浪费，解决了数据集市间数据访问的一致性问题。

第一方面，本发明实施例提供了一种数据集市间共享数据的方法，包括：

从数据仓库中抽取数据文件，将所述数据文件复制到预先设置的集市存储共享区，作为所述数据文件的一个副本文件；

在数据集市服务器中创建与所述集市存储共享区内的所述副本文件对应的外部表，所述外部表中包含指向所述集市存储共享区内的所述副本文件的存储路径，以使数据集市通过查询所述外部表获取与所述外部表对应的副本文件。

第二方面，本发明实施例还提供了一种数据集市间共享数据的装置，包括：

数据文件复制单元，用于从数据仓库中抽取数据文件，将所述数据文件复制到预先设置的集市存储共享区，作为所述数据文件的一个副本文件；

副本文件查找单元，用于在数据集市服务器中创建与所述集市存储共享区内的所述副本文件对应的外部表，所述外部表中包含指向所述集市存储共享区内的所述副本文件的存储路径，以使数据集市通过查询所述外部表获取与所述外部表对应的副本文件。