[发明专利]基于数据仓库进行大数据处理的方法以及装置

说明书

本申请公开了一种基于数据仓库进行大数据处理的方法以及装置。其中方法包括：分别创建针对第一处理系统和第二处理系统的第一任务和第二任务；分别获取第一任务和第二任务对应的第一文件数据和第二文件数据，并分别将第一文件数据和第二文件数据发送至数据仓库中；基于数据仓库对发送至数据仓库中的第一文件数据和第二文件数据进行处理。实现了高效、可靠的对批处理文件中存在的大量无序分布的数据进行核对处理的目的。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种基于数据仓库进行大数据处理的方法以及装置。

背景技术

目前，在业务系统的业务数据发送处于从老的处理系统迁移到新处理系统的过渡时期时，老处理系统和新处理系统可同时对业务文件进行处理，而由于老处理系统和新处理系统处理的方式和最终生成的业务文件中数据的分布均不相同，但所有的产出文件所包含的总的数据量应该是相同的，所以需要通过业务文件的事后监督任务进行针对新处理系统、老处理系统所产出文件数据的核对，以保证新处理系统和老处理系统所产出数据的一致性。

相关技术中，通过以下方式以实现对新处理系统、老处理系统所产出文件数据进行核对：可分别将新处理系统和老处理系统所产出的所有业务文件中的数据进行整合、排序等预处理操作，之后，可通过程序的对比算法对新处理系统和老处理系统中经过预处理操作的数据进行数据对比处理。

但是，目前存在的问题是，上述实现方式在对所有业务文件中的数据进行预处理操作之后，需要保证对比算法的性能具有相当程序的高效稳定，而这种要求往往是一件相当棘手的事情，并且真正在线上运行时，很有可能会出现内存溢出的情况，导致整个机器宕机，无法按时完成业务文件的事后监督任务，导致数据处理效率低、可靠性差等。

发明内容

本申请的目的旨在至少在一定程度上解决上述的技术问题之一。

为此，本申请的第一个目的在于提出一种基于数据仓库进行大数据处理的方法。该方法通过高可用文件导入数据仓库的方式，并依赖数据仓库支持的大数据处理能力，实现了高效、可靠的对批处理文件中存在的大量无序分布的数据进行核对处理的目的。

本申请的第二个目的在于提出一种基于数据仓库进行大数据处理的装置。

为了实现上述目的，本申请第一方面实施例的基于数据仓库进行大数据处理的方法，包括：分别创建针对第一处理系统和第二处理系统的第一任务和第二任务；分别获取所述第一任务和第二任务对应的第一文件数据和第二文件数据，并分别将所述第一文件数据和第二文件数据发送至所述数据仓库中；基于所述数据仓库对所述发送至所述数据仓库中的第一文件数据和第二文件数据进行处理。

本申请实施例的基于数据仓库进行大数据处理的方法，可先分别创建针对第一处理系统和第二处理系统的第一任务和第二任务，然后，开始执行第一任务和第二任务，即分别获取第一任务和第二任务对应的第一文件数据和第二文件数据，并分别将第一文件数据和第二文件数据发送至数据仓库中，最后，基于数据仓库对发送至数据仓库中的第一文件数据和第二文件数据进行对比。即通过采用任务来实现高可用文件内容导入数据仓库的方式，并依赖数据仓库所支持的大数据处理能力的做法，实现了高效、可靠的对批处理文件中存在的大量无序分布的数据进行核对处理的目的，在该大数据对比处理的过程中，只需要保证文件数据导入数据仓库的高效稳定、以及提供给数据仓库简单的进行内容比较的语句，便能够兼顾无序大数据比较的高效性和可靠性。

为了实现上述目的，本申请第二方面实施例的基于数据仓库进行大数据处理的装置，包括：任务创建模块，用于分别创建针对第一处理系统和第二处理系统的第一任务和第二任务；任务执行模块，用于分别获取所述第一任务和第二任务对应的第一文件数据和第二文件数据，并分别将所述第一文件数据和第二文件数据发送至所述数据仓库中；数据处理模块，用于基于所述数据仓库对所述发送至所述数据仓库中的第一文件数据和第二文件数据进行处理。