[发明专利]一种集中式数据分布式处理方法及装置

权利要求书

1.一种集中式数据分布式处理方法，其特征在于，所述方法包括：

采用第一分布式框架获取增量数据文件，根据预处理配置信息对获取的增量数据文件进行预处理，将处理后的文件上传至分布式文件系统；

根据上传状态及合并配置信息，创建合并任务；

轮询合并任务，采用第二分布式框架对合并任务所需的历史数据文件及增量数据文件进行合并处理，得到全量数据；

根据合并状态及计算配置信息，创建计算任务；

轮询计算任务，采用第三分布式框架对计算任务所需的全量数据和/或增量数据文件进行计算处理；

其中，第一、第二及第三分布式框架中均包括多个处理节点。

2.如权利要求1所述的方法，其特征在于，采用第一分布式框架获取增量数据文件，包括：

对于第一分布式框架中的每一处理节点，每隔第一预定时间间隔随机启动一线程，该线程用于检测是否有增量数据文件，并检查该处理节点的处理任务是否已经饱和，若有增量数据文件且处理任务未饱和，则该线程开始获取增量数据文件。

3.如权利要求1所述的方法，其特征在于，轮询合并任务，采用第二分布式框架对合并任务所需的历史数据文件及增量数据文件进行合并处理，得到全量数据，包括：

对于第二分布式框架中的每一处理节点，每隔第二预定时间间隔检测是否有待处理的合并任务，若有，则获取待处理的合并任务；

根据获取的待处理合并任务，从分布式文件系统中获取所需的历史数据文件及增量数据文件，并对获取到的历史数据文件及增量数据文件进行合并处理，得到全量数据。

4.如权利要求1所述的方法，其特征在于，轮询计算任务，采用第三分布式框架对计算任务所需的全量数据和/或增量数据文件进行计算处理，包括：

对于第三分布式框架中的每一处理节点，每隔第三预定时间间隔检测是否有待处理计算任务，若有，则获取待处理计算任务；

根据获取的待处理计算任务，获取所需的全量数据和/或增量数据文件，并对获取的全量数据和/或增量数据文件进行计算处理，将计算结果存入数据库中。

5.一种集中式数据分布式处理装置，其特征在于，包括：

数据文件获取模块，用于采用第一分布式框架获取增量数据文件，根据预处理配置信息对获取的增量数据文件进行预处理，将处理后的文件上传至分布式文件系统；

数据合并模块，用于轮询合并任务，采用第二分布式框架对合并任务所需的历史数据文件及增量数据文件进行合并处理，得到全量数据；

计算入库模块，用于轮询计算任务，采用第三分布式框架对计算任务所需的全量数据和/或增量数据文件进行计算处理；

调度模块，用于根据上传状态及合并配置信息，创建合并任务；根据合并状态及计算配置信息，创建计算任务；

其中，第一、第二及第三分布式框架中均包括多个处理节点。

6.如权利要求5所述的装置，其特征在于，数据文件获取模块采用第一分布式框架获取增量数据文件，包括：

对于第一分布式框架中的每一处理节点，每隔第一预定时间间隔随机启动一线程，该线程用于检测是否有增量数据文件，并检查该处理节点的处理任务是否已经饱和，若有增量数据文件且处理任务未饱和，则该线程开始获取增量数据文件。

7.如权利要求5所述的装置，其特征在于，数据合并模块轮询合并任务，采用第二分布式框架对合并任务所需的历史数据文件及增量数据文件进行合并处理，得到全量数据，包括：

对于第二分布式框架中的每一处理节点，每隔第二预定时间间隔检测是否有待处理的合并任务，若有，则获取待处理的合并任务；

根据获取的待处理合并任务，从分布式文件系统中获取所需的历史数据文件及增量数据文件，并对获取到的历史数据文件及增量数据文件进行合并处理，得到全量数据。