[发明专利]一种集中式数据分布式处理方法及装置

说明书

本发明提供了一种集中式数据分布式处理方法及装置，其中，方法包括：采用第一分布式框架获取增量数据文件，根据预处理配置信息对获取的增量数据文件进行预处理，将处理后的文件上传至分布式文件系统；根据上传状态及合并配置信息，创建合并任务；轮询合并任务，采用第二分布式框架对合并任务所需的历史数据文件及增量数据文件进行合并处理，得到全量数据；根据合并状态及计算配置信息，创建计算任务；轮询计算任务，采用第三分布式框架对计算任务所需的全量数据和/或增量数据文件进行计算处理；其中，第一、第二及第三分布式框架中均包括多个处理节点。本发明能够提高数据分析的效率，充分利用闲置资源，不受单点故障影响，保证系统稳定运行。

技术领域

本发明涉及分布式领域，尤其涉及一种集中式数据分布式处理方法及装置。

背景技术

现有技术中，虽然分布式数据处理已逐渐取代集中式处理方式，但仍存在系统内部各产品数据的传输均依赖统一的数据下传平台。数据下传平台接收源系统下发的文件，并按照订阅规则下发至目标系统(如图1所示)。面对集中下发的文件，现有技术中采用单台主机处理，包括应用版本部署、服务启动和运行、日志记录，均在单一节点进行，处理流程中的解压、转码等大量消耗CPU、硬盘资源的操作也在该单一节点进行。

集中式数据处理方式在文件数量少、文件小和该服务器硬件资源足够时并不会发生问题，但在大批量文件时采用此架构就会存在如下问题：

1)处理时间长：例如有些数据文件较大，且需要完成解压、拆分、转码、删除特殊字符、缩减字段等一系列动作，整个处理耗时较长。

2)扩展性差：文件接收服务器以表为单位处理，每增加一个表，处理总时间会加长，随着接入的系统越来越多，极易产生数据堆积，处理滞后。

3)资源闲置：在文件接收服务器处理下传文件的同时HDFS和分布式服务器，甚至于数据库服务器都处于闲置状态，而文件全部上传至HDFS后分布式服务器和HDFS资源尤其是CPU和内存又处于及其忙碌的情景，两个极端的资源使用状态极不合理。

4)单点故障：一旦文件接收服务器因为网络，磁盘或者其他不可预知的因素退出处理任务，集中式瞬间瘫痪。即便很快恢复其上的数据文件和版本程序也需要重新部署，需要检查逐表处理进度，费时费力。

5)脚本关联性强，不易变更。

发明内容

本发明提供一种集中式数据分布式处理方法及装置，用于解决现有技术中集中式数据处理的方式存在处理时间长、扩展性差、耦合度高、处理能力差的问题。

为了解决上述技术问题，本发明的第一方面提供一种集中式数据分布式处理方法，所述方法包括：

采用第一分布式框架获取增量数据文件，根据预处理配置信息对获取的增量数据文件进行预处理，将处理后的文件上传至分布式文件系统；

根据上传状态及合并配置信息，创建合并任务；

轮询合并任务，采用第二分布式框架对合并任务所需的历史数据文件及增量数据文件进行合并处理，得到全量数据；

根据合并状态及计算配置信息，创建计算任务；

轮询计算任务，采用第三分布式框架对计算任务所需的全量数据和/或增量数据文件进行计算处理；

其中，第一、第二及第三分布式框架中均包括多个处理节点。

进一步实施例中，采用第一分布式框架获取增量数据文件，包括：

对于第一分布式框架中的每一处理节点，每隔第一预定时间间隔随机启动一线程，该线程用于检测是否有增量数据文件，并检查该处理节点的处理任务是否已经饱和，若有增量数据文件且处理任务未饱和，则该线程开始获取增量数据文件。