[发明专利]数据抽取系统和数据抽取方法

权利要求书

1.一种数据抽取系统，其特征在于，包括：数据源和大数据平台，所述数据源包括数据复制模块和数据抽取模块，所述大数据平台包括分布式文件模块和/或数据仓库工具模块；

所述数据复制模块，用于添加数据库触发器至所述数据源，并从所述数据库触发器中复制更新数据，同时依据所述更新数据生成增量数据抽取队列，其中，所述数据库触发器用于在确定所述数据源的数据发生变更时，记录数据变更信息；

所述数据抽取模块，用于依据设定时间间隔从所述增量数据抽取队列中抽取所述更新数据，并将所述更新数据发送至所述大数据平台；

所述大数据平台，用于根据接收的所述更新数据修正存储数据；

所述分布式文件模块和所述数据仓库工具模块均用于接收所述更新数据。

2.根据权利要求1所述的系统，其特征在于，所述数据抽取模块还用于将数据复制规则发送至所述数据复制模块；

所述数据复制模块，具体用于：

依据所述数据复制规则从所述数据库触发器中复制更新数据。

3.根据权利要求1所述的系统，其特征在于，所述更新数据包括：

数据表格的增量数据和所述增量数据的时间戳，其中，所述数据表格为所述数据源中存储的数据表格。

4.根据权利要求1所述的系统，其特征在于，还包括：多样化接口系统；

所述多样化接口系统，用于接收所述数据抽取模块发送的所述更新数据，并将接收的所述更新数据发送至所述大数据平台。

5.根据权利要求1-4中任一项所述的系统，其特征在于，所述数据源包括企业管理软件SAP；

所述数据复制模块包括数据同步复制器SLT；

所述数据抽取模块包括数据服务系统DS。

6.根据权利要求1-4中任一项所述的系统，其特征在于，所述大数据平台包括Hadoop大数据平台；

所述分布式文件模块包括分布式文件系统HDFS；

所述数据仓库工具模块包括数据仓库工具HIVE。

7.一种数据抽取方法，其特征在于，包括：

添加数据库触发器至内部数据源，从所述数据库触发器中复制更新数据，依据所述更新数据生成增量数据抽取队列，其中，所述数据库触发器用于在确定所述数据源的数据发生变更时，记录数据变更信息；

依据设定时间间隔从所述增量数据抽取队列中抽取所述更新数据，并将所述更新数据发送至内部大数据平台。

8.根据权利要求7所述的方法，其特征在于，所述从所述数据库触发器中复制更新数据，包括：

依据数据复制规则从所述数据库触发器中复制更新数据。

9.根据权利要求7所述的方法，其特征在于，所述更新数据包括：

数据表格的增量数据和所述增量数据的时间戳，其中，所述数据表格为所述数据源存储的数据表格。

10.根据权利要求7所述的方法，其特征在于，所述依据设定时间间隔从所述增量数据抽取队列中抽取所述更新数据，并将所述更新数据发送至内部大数据平台，包括：

依据设定时间间隔从所述增量数据抽取队列中抽取所述更新数据，并将所述更新数据发送至内部多样化接口系统；

通过所述颞部多样化接口系统，将所述更新数据发送至内部大数据平台。

11.根据权利要求7-10中任一项所述的方法，其特征在于，所述内部数据源包括企业管理软件SAP。

12.根据权利要求7-10中任一项所述的方法，其特征在于，所述内部大数据平台包括Hadoop大数据平台。