[发明专利]批量文件处理方法、装置、电子设备和存储介质

权利要求书

1.一种批量文件处理方法，其特征在于，包括：

当接收到批量文件处理请求时，获取所述批量文件处理请求对应的至少一个批量文件；

对每个所述批量文件进行解析，得到每个所述批量文件的属性信息，其中，所述属性信息包括文件信息、字段信息以及格式信息；

获取每个所述批量文件的数据处理逻辑，根据各所述批量文件的数据处理逻辑确定各批量文件的处理顺序，根据所述处理顺序获取所述批量文件的处理链；

根据所述批量文件的属性信息、所述批量文件的数据处理逻辑以及所述批量文件的处理链，对所述批量文件进行任务配置，生成所述批量文件处理请求对应的批量文件处理任务。

2.根据权利要求1所述的批量文件处理方法，其特征在于，所述文件信息包括所述批量文件的文件类型、所述批量文件的存储路径以及所述批量文件的文件命名规则，所述字段信息包括所述批量文件中每个字段的关键字以及所述批量文件中每个字段的有效数据，所述格式信息包括所述批量文件的正文解析起始位置以及所述批量文件的编码格式。

3.根据权利要求2所述的批量文件处理方法，其特征在于，所述批量文件中每个字段的有效数据按照如下步骤获取：

获取所述批量文件中每个字段的长度；

判断所述字段是否为定长数据，当判断结果为是时，获取所述字段的补位规则；

根据所述字段的长度及补位规则还原补位前的有效数据。

4.根据权利要求1所述的批量文件处理方法，其特征在于，所述根据所述批量文件的属性信息、所述批量文件的数据处理逻辑以及所述批量文件的处理链，对所述批量文件进行任务配置，生成所述批量文件处理请求对应的批量文件处理任务之前，还包括：

获取预设时间周期内的服务器的状态信息，其中，所述状态信息包括资源种类和空闲资源量；

根据所述服务器的状态信息获取每个所述批量文件的单次最大处理数据量；

相应地，所述根据所述批量文件的属性信息、所述批量文件的数据处理逻辑以及所述批量文件的处理链，对所述批量文件进行任务配置，生成所述批量文件处理请求对应的批量文件处理任务，包括：

根据所述批量文件的属性信息、所述批量文件的单次最大处理数据量、所述批量文件的数据处理逻辑以及所述批量文件的处理链，对所述批量文件进行任务配置，生成所述批量文件处理请求对应的批量文件处理任务。

5.根据权利要求1所述的批量文件处理方法，其特征在于，所述根据所述批量文件的属性信息、所述批量文件的数据处理逻辑以及所述批量文件的处理链，对所述批量文件进行任务配置，生成所述批量文件处理请求对应的批量文件处理任务之后，还包括：

获取多个批量文件处理任务的处理链，根据所述处理链中各批量文件及对应的数据处理逻辑生成各批量文件的批量文件处理树形图，其中，所述批量文件处理树形图中每个执行节点包括至少一个批量文件以及一个数据处理逻辑；

执行所述批量文件处理树形图中的各个执行节点，并实时判断所述各个执行节点是否处于完成状态；

判断不处于完成状态的执行节点是否处于异常状态；

重新执行处于异常状态的执行节点，直至所述批量文件处理树形图中的各个执行节点均处于完成状态时，完成所有批量文件处理任务。

6.根据权利要求5所述的批量文件处理方法，其特征在于，所述执行所述批量文件处理树形图中的各个执行节点，包括：

扫描所述批量文件处理树形图中的各个执行节点的状态，确定所述批量文件处理树形图中的处于未完成状态的执行节点；

实时判断所述处于未完成状态的执行节点的前置执行节点是否全部处于完成状态；

当所述处于未完成状态的执行节点的前置执行节点全部处于完成状态时，执行所述处于未完成状态的执行节点。