[发明专利]数据提取、转化和加载的方法及系统

权利要求书

1.一种数据提取、转换和加载的方法，其特征在于，为不同类型的数据源配置不同的抽取规则，该方法包括：

获取待抽取数据源的类型，由获取的类型调用并解析对应的抽取规则；

采用解析的抽取规则从待抽取数据源中抽取数据；

对抽取的数据进行转换，将转换后的数据加载到目标数据仓库中。

2.如权利要求1所述的方法，其特征在于，所述获取待抽取数据源的类型之前，该方法还包括：

启动定时器，判断定时时刻是否到来，如果是，则执行所述获取待抽取数据源的类型的步骤，并重新启动定时器；否则，继续等待定时时刻的到来。

3.如权利要求1所述的方法，其特征在于，所述从待抽取数据源中抽取数据时，该方法还包括：

判断待抽取数据源是否为空，如果是，则生成并上传监测结果；否则，不生成监测结果。

4.如权利要求1所述的方法，其特征在于，所述将转换后的数据加载到目标数据仓库中包括：

采用批量处理方式，将转换后的数据加载到目标数据仓库中。

5.如权利要求1至4中任一项所述的方法，其特征在于，所述类型包括关系型和文件型。

6.一种数据提取、转换和加载的系统，其特征在于，该系统包括规则配置单元、抽取单元、转换单元和加载单元；

所述规则配置单元，用于为不同类型的数据源配置不同的抽取规则；

所述抽取单元，用于获取待抽取数据源的类型，由获取的类型从所述规则配置单元中调用并解析对应的抽取规则，采用解析的抽取规则从待抽取数据源中抽取数据，将抽取的数据发送给所述转换单元；

所述转换单元，用于对抽取的数据进行转换，将转换后的数据发送给所述加载单元；

所述加载单元，用于将转换后的数据加载到所述目标数据仓库中。

7.如权利要求6所述的系统，其特征在于，该系统还包括定时判断单元，用于启动定时器，判断定时时刻是否到来，如果是，则向所述抽取单元发送执行命令，并重新启动定时器；否则，继续等待定时时刻的到来；所述抽取单元，还用于接收所述执行命令，然后执行所述获取待抽取数据源的类型的步骤。

8.如权利要求6所述的系统，其特征在于，该系统还包括监测单元，用于在所述抽取单元从待抽取数据源中抽取数据时判断待抽取数据源是否为空，如果是，则生成并上传监测结果，否则，不生成监测结果。

9.如权利要求6所述的系统，其特征在于，所述加载单元采用批量处理的方式，将转换后的数据加载到所述目标数据仓库中。

10.如权利要求6至9中任一项所述的系统，其特征在于，所述类型包括关系型和文件型。