[发明专利]一种分布式文件批量处理方法及平台

说明书

本说明书实施例涉及大数据技术领域，具体公开了一种分布式文件批量处理方法及平台，所述方法包括：在接收到批量文件传输请求后，向所述批量文件传输请求所指定的系统节点中布设的批量文件生成模块发送批量文件生成指令，以使所述批量文件生成模块生成批量文件，并将生成的批量文件及批量文件的文件信息反馈至所述数据交换平台；所述文件信息至少包括文件标识及文件大小；在接收到各所述指定的系统节点反馈的批量文件生成成功的消息后，基于各所述指定的系统节点对应的文件信息生成所述批量文件传输请求的校验文件；基于所述校验文件向下游系统传输所述批量文件，从而可以在降低对系统资源消耗的同时，提高批量文件传输的准确性及完整性。

技术领域

本说明书涉及大数据技术领域，特别地，涉及一种分布式文件批量处理方法及平台。

背景技术

随着现代化信息技术的高速发展，大型企业系统逐步走向分工精细明确的应用体系，由此产生了满足企业多应用系统间批量文件交换的数据交换平台。同时，随着企业的数据规模的极速增长，传统金融行业大型主机数据库纷纷向分布式数据库转型。在此过程中，原有大型主机单个数据库即可生成的完整批量文件，在采用分布式数据库分离存放后，将由多个数据库对应的批量文件所组成。且因分布式数据库存在动态数量调整需求，各数据库所产生的批量文件的数量和名称不能固定，导致外围使用文件的下游系统无法较好适应大型主机系统的变化。

目前存在两种常见解决方案，一种方案是由转型后的分布式系统，在生成多个数据对应的批量文件后，执行数据合并，以避免对外围下游系统的影响。但此方案需要分布式系统设计专用的数据合并装置，因为数据规模大，增加了资源消耗，尤其当这类系统为核心业务交易系统时，影响其对外服务稳定性。且在企业有大量系统从集中式向分布式转型过程中，上述方案显然还会额外增加整体实施成本，影响企业向分布式转型的进程。另一种方案是由数据交换平台，对分布式系统生成的文件进行合并，但这种方案一方面在海量文件交换场景下，易造成数据交换平台的成本瓶颈，且增加了数据交换的耗时，对数据交换平台的处理时效性也造成较大影响。因此，目前亟需一种更加高效准确的分布式批量文件传输方法。

发明内容

本说明书实施例的目的在于提供一种分布式文件批量处理方法及平台，可以系统地、低成本地实现企业大型主机向分布式系统转型过程的数据交换，且可以提高文件批量传输的准确性及完整性。

本说明书提供一种分布式文件批量处理方法及平台是包括如下方式实现的：

一种分布式文件批量处理方法，应用于数据交换平台，所述方法包括：在接收到批量文件传输请求后，向所述批量文件传输请求所指定的系统节点中布设的批量文件生成模块发送批量文件生成指令，以使所述批量文件生成模块生成相应系统节点对应的批量文件，并将生成的批量文件及批量文件的文件信息反馈至所述数据交换平台；所述文件信息至少包括文件标识及文件大小；在接收到各所述指定的系统节点反馈的批量文件生成成功的消息后，基于各所述指定的系统节点对应的文件信息生成所述批量文件传输请求的校验文件；基于所述校验文件向下游系统传输所述批量文件。

另一些实施例中，所述文件标识至少包括文件名、系统节点标识及文件生成时间。

另一些实施例中，所述校验文件与所述批量文件采用不同的文件类型。

另一些实施例中，所述校验文件中还配置有文件标识与相应文件标识对应的批量文件待传输至的指定下游系统之间的第一关联关系；所述基于所述校验文件向下游系统传输所述批量文件，包括：对于任一所述指定下游系统，基于所述第一关联关系从所述校验文件中提取所述指定下游系统对应的全部文件标识，得到文件标识集；并将所述文件标识集中各文件标识对应的批量文件传输至所述指定下游系统中。

另一些实施例中，所述将所述文件标识集中各文件标识对应的批量文件传输至所述指定下游系统中，包括：从所述校验文件中提取所述文件标识集中各文件标识对应的批量文件的总文件大小；基于所述文件标识集中各文件标识及总文件大小，校验所述文件标识集中各文件标识对应的批量文件是否已全部传输至所述指定下游系统。