[发明专利]分布式文件生成方法及装置

说明书

本发明公开了一种分布式文件生成方法及装置，可用于金融领域或其他技术领域，该方法包括：获取每个文件生成任务各自的任务配置信息；在当前时间到达预设的待执行任务确定时间时，根据每个文件生成任务各自的计划执行日期确定当日需要执行的所有文件生成任务，并在待执行文件生成作业队列表中生成每个当日需要执行的文件生成任务各自对应的待执行作业信息；从所述待执行文件生成作业队列表中确定出一条执行状态为待执行的待执行作业信息；根据该条待执行作业信息对应的文件生成规则配置信息进行文件生成。本发明提供了一种稳定、高效的生成批量文件的方案。

技术领域

本发明涉及分布式数据处理技术领域，具体而言，涉及一种分布式文件生成方法及装置。

背景技术

在金融银行业应用系统中，不同系统之间存在大量的文件交互，例如在不同系统间进行数据同步、向金融监管部门提供监管报送文件、银行账户账务核对等业务场景，这些业务场景数据量大、文件导出逻辑和生成周期相对固定。

现有技术一般是通过批量文件来实现，指定一台服务器作为批量服务器，批量调度器每日定时串行调度执行不同的文件生成作业来生成符合不同需求的批量数据文件，然而串行调度会造成文件生成的执行效率较低，因此现有技术缺少一种更为高效的批量文件生成方案。

发明内容

本发明为了解决上述背景技术中的技术问题，提出了一种分布式文件生成方法及装置。

为了实现上述目的，根据本发明的一个方面，提供了一种分布式文件生成方法，该方法包括：

获取每个文件生成任务各自的任务配置信息，其中，所述任务配置信息包括：计划执行日期以及文件生成规则配置信息标识；

在当前时间到达预设的待执行任务确定时间时，根据每个文件生成任务各自的计划执行日期确定当日需要执行的所有文件生成任务，并在待执行文件生成作业队列表中生成每个当日需要执行的文件生成任务各自对应的待执行作业信息，其中，所述待执行作业信息包括：执行状态，在所述待执行作业信息生成时所述待执行作业信息的执行状态为待执行；

从所述待执行文件生成作业队列表中确定出一条执行状态为待执行的待执行作业信息，并将该条待执行作业信息的执行状态设置为执行中；

获取该条待执行作业信息对应的文件生成任务的文件生成规则配置信息标识，然后确定获取的文件生成规则配置信息标识对应的文件生成规则配置信息，进而根据所述文件生成规则配置信息进行文件生成，在文件生成完成时将该条待执行作业信息的执行状态设置为执行成功。

可选的，所述待执行作业信息还包括：服务器标识字段以及时间戳字段；

在所述将该条待执行作业信息的执行状态设置为执行中的同时，所述方法还包括：

将该条待执行作业信息的服务器标识字段更新为本地的服务器标识；

将该条待执行作业信息的时间戳字段更新为当前时间。

可选的，该分布式文件生成方法，还包括：

在文件生成完成时将该条待执行作业信息的时间戳字段更新为文件生成完成时间。

可选的，所述待执行作业信息还包括：执行时间以及优先级；

所述从所述待执行文件生成作业队列表中确定出一条执行状态为待执行的待执行作业信息，具体包括：

从所述待执行文件生成作业队列表中查找执行时间为当前时间并且执行状态为待执行的所有待执行作业信息；

从查找出的所有待执行作业信息中确定出优先级最高的一条待执行作业信息。

可选的，所述在待执行文件生成作业队列表中生成每个当日需要执行的文件生成任务各自对应的任务信息，具体包括：