[发明专利]数据处理方法及处理系统

权利要求书

1.一种数据处理方法，其特征在于，包括：

根据预设的配置文件从数据源抽取数据，具体包括：根据所述配置 文件获得各个任务待处理数据的个数；从所述数据源抽取数据，同时对 所述抽取数据的个数进行计数，得到第一计数值；比较所述第一计数值 与所述待处理数据的个数，当所述第一计数值与所述待处理数据的个数 相等时，执行后续操作步骤；

根据转换的数据量和特性，在内存中对所述抽取的数据进行第一转 换，所述第一转换为行级转换、时间字段类型转换和空值转换中至少一 个转换，具体包括：对所述数据进行转换的同时，对转换数据的个数进 行计数，得到第二计数值；比较所述第二计数值与所述待处理数据的个 数，当所述第二计数值与所述待处理数据的个数相等时，执行后续操作 步骤；

将所述转换后的数据载入到数据仓库中，具体包括：将所述第一转 换后的数据载入到数据仓库，同时对载入数据的个数进行计数，得到第 三计数值；比较所述第三计数值与所述待处理数据的个数，当所述第三 计数值与所述待处理数据的个数相等时，执行后续操作步骤；

在数据仓库中根据预设的任务对所述数据仓库中的数据进行关联 转换。

2.根据权利要求1所述的数据处理方法，其特征在于，所述根据 预设的配置文件从数据源抽取数据的操作具体还包括：

根据各个新任务的优先级对所述新任务进行排序；

根据任务排序结果进行数据抽取。

3.根据权利要求2所述的数据处理方法，其特征在于，所述根据 各个新任务的优先级对所述新任务进行排序的操作之后还包括：

根据当前系统的空余资源、所述新任务的历史资源消耗、所述新任 务的优先级以及当前任务的执行情况为所述新任务分配资源；

根据所述任务排序结果和任务资源分配结果进行数据抽取。

4.一种数据处理系统，其特征在于，包括位于内存中的抽取装置、 第一转换装置和载入装置，及位于数据仓库中的第二转换装置，其中，

抽取装置，用于根据预设的配置文件从数据源抽取数据；

第一转换装置，用于根据转换的数据量和特性，对所述抽取的数据 进行行级转换、时间字段类型转换和空值转换中至少一个转换；

载入装置，用于将所述第一转换装置转换后的数据载入到数据仓库 中；

第二转换装置，用于根据预设的任务对所述数据仓库中的数据进行 关联转换；

还包括位于内存中的：

内存计数器，用于分别对抽取数据的个数、转换数据的个数及载入 数据的个数中进行计数，分别得到第一计数值、第二计数值和第三计数 值中至少一个；

比较器，用于将所述配置文件中待处理数据的个数分别与所述第一 计数值、第二计数值和第三计数值进行比较；

所述第一转换装置，当第一计数值与所述待处理数据的个数相等 时，开始对所述抽取的数据进行行级转换、时间字段类型转换和空值转 换中至少一个转换；

所述载入装置，当所述第二计数值与所述待处理数据的个数相等 时，开始将所述第一转换装置转换后的数据载入到所述数据仓库；

所述第二转换装置，当所述第三计数值与所述待处理数据的个数相 等时，开始根据预设的任务对所述数据仓库中的数据进行关联转换。

5.根据权利要求4所述的数据处理系统，其特征在于，还包括位 于内存中的：

任务排序装置，用于根据配置文件中各个任务的优先级对所述任务 进行排序；

所述抽取装置，进一步用于根据任务排序结果进行各个任务数据抽 取。

6.根据权利要求5所述的数据处理系统，其特征在于，还包括位 于内存中的：

资源分配装置，用于根据当前系统的空余资源、新任务的历史资源 消耗、所述新任务的优先级以及当前任务执行情况为所述新任务分配资 源；

所述抽取装置，根据所述任务资源分配结果进行数据抽取。