[发明专利]批量文件处理方法、装置、电子设备和存储介质

说明书

本发明涉及数据处理技术领域，尤其涉及一种批量文件处理方法、装置、电子设备和存储介质。本发明的批量文件处理方法、装置、电子设备和存储介质，获取批量文件处理请求对应的批量文件；对批量文件进行解析，得到属性信息；获取每个批量文件的数据处理逻辑，根据各批量文件的数据处理逻辑确定各批量文件的处理顺序，根据处理顺序获取批量文件的处理链；根据属性信息、数据处理逻辑以及处理链，对批量文件进行任务配置，生成批量文件处理请求对应的批量文件处理任务；通过上述方式，实现对批量文件处理请求中涉及的每个批量文件的属性信息以及业务逻辑进行配置，减少批量文件处理的开发周期，实现了批量入口的统一管理，增加了批量文件处理的速度。

【技术领域】

本发明涉及数据处理技术领域，尤其涉及一种批量文件处理方法、装置、电子设备和存储介质。

【背景技术】

网络已成为人们必不可少的一部分，而各种网络项目、工程的后台的运行都离不开批量处理，因此批量文件是软件程序中不可或缺的部分，在批量中有个常用的功能，那就是文件的处理，但是现有的生产实例中，不同系统处理文件的方式五花八门，对于文件的处理没有一个统一的处理方式，并且如果文件处理的方式不当，很容易出现系统的内存溢出、异常时文件数据的重复处理等问题，并且文件的解析方式也因文件规则不一样，而出现大量的个性化定制解析，维护成本很大。

【发明内容】

本发明的目的在于提供一种批量文件处理方法、装置、电子设备和存储介质，以解决现有技术中批量文件处理速度慢及批量文件入口无法统一的技术问题。

本发明的技术方案如下：提供一种批量文件处理方法，包括：

当接收到批量文件处理请求时，获取所述批量文件处理请求对应的至少一个批量文件；

对每个所述批量文件进行解析，得到每个所述批量文件的属性信息，其中，所述属性信息包括文件信息、字段信息以及格式信息；

获取每个所述批量文件的数据处理逻辑，根据各所述批量文件的数据处理逻辑确定各批量文件的处理顺序，根据所述处理顺序获取所述批量文件的处理链；

根据所述批量文件的属性信息、所述批量文件的数据处理逻辑以及所述批量文件的处理链，对所述批量文件进行任务配置，生成所述批量文件处理请求对应的批量文件处理任务。

优选地，所述文件信息包括所述批量文件的文件类型、所述批量文件的存储路径以及所述批量文件的文件命名规则，所述字段信息包括所述批量文件中每个字段的关键字以及所述批量文件中每个字段的有效数据，所述格式信息包括所述批量文件的正文解析起始位置以及所述批量文件的编码格式。

优选地，所述批量文件中每个字段的有效数据按照如下步骤获取：

获取所述批量文件中每个字段的长度；

判断所述字段是否为定长数据，当判断结果为是时，获取所述字段的补位规则；

根据所述字段的长度及补位规则还原补位前的有效数据。

优选地，所述根据所述批量文件的属性信息、所述批量文件的数据处理逻辑以及所述批量文件的处理链，对所述批量文件进行任务配置，生成所述批量文件处理请求对应的批量文件处理任务之前，还包括：

获取预设时间周期内的服务器的状态信息，其中，所述状态信息包括资源种类和空闲资源量；

根据所述服务器的状态信息获取每个所述批量文件的单次最大处理数据量；

相应地，所述根据所述批量文件的属性信息、所述批量文件的数据处理逻辑以及所述批量文件的处理链，对所述批量文件进行任务配置，生成所述批量文件处理请求对应的批量文件处理任务，包括：