[发明专利]基于数据仓库进行大数据处理的方法以及装置

权利要求书

1.一种基于数据仓库进行大数据处理的方法，其特征在于，包括以下步骤：

分别创建针对第一处理系统和第二处理系统的第一任务和第二任务；

分别获取所述第一任务和第二任务对应的第一文件数据和第二文件数据，并分别将所述第一文件数据和第二文件数据发送至所述数据仓库中；

基于所述数据仓库对所述发送至所述数据仓库中的第一文件数据和第二文件数据进行核对处理；

其中，所述核对处理包括：第一文件数据与第二文件数据的数据分布不同的情况下，对第一文件数据的内容与第二文件数据的内容进行对比。

2.如权利要求1所述的方法，其特征在于，所述分别创建针对第一处理系统和第二处理系统的第一任务和第二任务，包括：

分别扫描第一处理系统和第二处理系统生成的第一索引文件和第二索引文件；

分别根据所述第一索引文件和第二索引文件按照预设规则创建所述第一任务和第二任务。

3.如权利要求1所述的方法，其特征在于，所述分别将所述第一文件数据和第二文件数据发送至所述数据仓库中，包括：

分别将所述第一文件数据和第二文件数据插入至第一中间临时表和第二中间临时表；

接收数据仓库的数据传送请求，并根据所述数据传送请求分别将所述第一中间临时表和第二中间临时表中的数据发送至所述数据仓库中。

4.如权利要求3所述的方法，其特征在于，所述分别将所述第一文件数据和第二文件数据插入至第一中间临时表和第二中间临时表，包括：

创建第一线程，并针对所述第一文件数据，通过所述第一线程中的第一主线程将所述第一文件数据进行整合并拆分以得到多个第一数据分片，并将所述多个第一数据分片分别存入第一队列中，以及分别通过所述第一线程中的多个第一子线程将所述第一队列中的多个第一数据分片批量插入至所述第一中间临时表；

创建第二线程，并针对所述第二文件数据，通过所述第二线程中的第二主线程将所述第二文件数据进行整合并拆分以得到多个第二数据分片，并将所述多个第二数据分片分别存入第二队列中，以及分别通过所述第二线程中的多个第二子线程将所述第二队列中的多个第二数据分片批量插入至所述第二中间临时表。

5.如权利要求4所述的方法，其特征在于，还包括：

当所述第一队列占满时，中断所述第一主线程，并在等待所述第一队列中的第一数据分片被消费掉之后，继续启动所述第一主线程，并通过所述第一主线程将所述第一文件数据中的剩余数据进行整合并拆分以得到多个第一数据分片；

当所述第二队列占满时，中断所述第二主线程，并在等待所述第二队列中的第二数据分片被消费掉之后，继续启动所述第二主线程，并通过所述第二主线程将所述第二文件数据中的剩余数据进行整合并拆分以得到多个第二数据分片。

6.如权利要求4所述的方法，其特征在于，还包括：

当所述多个第一数据分片批量插入失败时，将所述多个第一数据分片中的数据逐条插入至所述第一中间临时表；

当所述多个第二数据分片批量插入失败时，将所述多个第二数据分片中的数据逐条插入至所述第二中间临时表。