[发明专利]数据抽取系统和数据抽取方法

说明书

技术领域

本发明实施例涉及大数据处理技术领域，尤其涉及一种数据抽取系统和数据抽取方法。

背景技术

随着国民经济的快速发展，各行各业所产生和存储的数据量在急速攀升，“大数据”已经渗透到每一个行业和领域，成为重要的生产要素。Hadoop是一个由Apache基金会所开发的分布式系统基础架构，实现了一个分布式文件系统，Hadoop可以以可靠、高效、可伸缩的方式进行数据处理，因此，Hadoop现已迅速发展成为分析大数据的领先平台。

由于Hadoop无法自主对自身已有数据进行修改和删除，也无法自主增加新数据，因此若需要对Hadoop已有数据进行修改或删除操作，则必须将相应的数据修改说明发送至Hadoop。同时，SAP是一款全球领先的企业管理解决方案的软件，由于SAP对内部数据进行增加、修改和删除等操作时，直接在数据库层面进行修改且无修改记录。

因此，当SAP作为数据源，使用Hadoop对SAP中的数据进行抽取时，对于已从SAP中抽取并存储在Hadoop中的数据，Hadoop无法从SAP的现有存储数据中获知SAP对上述数据的操作内容，以致Hadoop无法对上述数据实施与SAP相同的操作。

发明内容

有鉴于此，本发明实施例提供了一种数据抽取系统和数据抽取方法，以解决现有技术中对于Hadoop大数据平台和企业管理软件SAP中存储的相同数据表格，Hadoop大数据平台无法同步企业管理软件SAP对上述数据表格的处理操作的技术缺陷。

在第一方面，本发明实施例提供了一种数据抽取系统，包括：数据源和大数据平台，所述数据源包括数据复制模块和数据抽取模块，所述大数据平台包括分布式文件模块和/或数据仓库工具模块；

所述数据复制模块，用于添加数据库触发器至所述数据源，并从所述数据库触发器中复制更新数据，同时依据所述更新数据生成增量数据抽取队列，其中，所述数据库触发器用于在确定所述数据源的数据发生变更时，记录数据变更信息；

所述数据抽取模块，用于依据设定时间间隔从所述增量数据抽取队列中抽取所述更新数据，并将所述更新数据发送至所述大数据平台；

所述大数据平台，用于根据接收的所述更新数据修正存储数据；

所述分布式文件模块和所述数据仓库工具模块均用于接收所述更新数据。

在上述系统中，优选的是，所述数据抽取模块还用于将数据复制规则发送至所述数据复制模块；

所述数据复制模块，具体用于：

依据所述数据复制规则从所述数据库触发器中复制更新数据。

在上述系统中，优选的是，所述更新数据包括：

数据表格的增量数据和所述增量数据的时间戳，其中，所述数据表格为所述数据源中存储的数据表格。

在上述系统中，优选的是，还包括：多样化接口系统；

所述多样化接口系统，用于接收所述数据抽取模块发送的所述更新数据，并将接收的所述更新数据发送至所述大数据平台。

在上述系统中，优选的是，所述数据源包括企业管理软件SAP；

所述数据复制模块包括数据同步复制器SLT；

所述数据抽取模块包括数据服务系统DS。

在上述系统中，优选的是，所述大数据平台包括Hadoop大数据平台；

所述分布式文件模块包括分布式文件系统HDFS；

所述数据仓库工具模块包括数据仓库工具HIVE。

在第二方面，本发明实施例提供了一种数据抽取方法，包括：

添加数据库触发器至内部数据源，从所述数据库触发器中复制更新数据，依据所述更新数据生成增量数据抽取队列，其中，所述数据库触发器用于在确定所述数据源的数据发生变更时，记录数据变更信息；

依据设定时间间隔从所述增量数据抽取队列中抽取所述更新数据，并将所述更新数据发送至内部大数据平台。

在上述方法中，优选的是，所述从所述数据库触发器中复制更新数据，包括：

依据数据复制规则从所述数据库触发器中复制更新数据。

在上述方法中，优选的是，所述更新数据包括：

数据表格的增量数据和所述增量数据的时间戳，其中，所述数据表格为所述数据源存储的数据表格。

在上述方法中，优选的是，所述依据设定时间间隔从所述增量数据抽取队列中抽取所述更新数据，并将所述更新数据发送至内部大数据平台，包括：

依据设定时间间隔从所述增量数据抽取队列中抽取所述更新数据，并将所述更新数据发送至内部多样化接口系统；