[发明专利]数据批量传输方法及装置

说明书

本申请实施例提供一种数据批量传输方法及装置，可用于人工智能技术领域，方法包括：生成当前经批量处理后的各批次的主机数据对应的控制文件，控制文件用于记录对应批次的主机数据的文件信息和批量处理时间；将各批次的主机数据及控制文件传输至UDS平台，以使该UDS平台基于控制文件中的文件信息和批量处理时间对各批次的主机数据进行数据核对，并对经数据核对的主机数据进行数据拆分及传输至UDS平台下游。本申请能够有效提高UDS平台对接收的主机数据进行处理的及时性，并能够有效提高UDS平台处理主机数据的完整性及准确性，进而能够有效提高数据批量传输至UDS平台下游的效率及自动化程度。

技术领域

本申请涉及数据处理技术领域，特别涉及人工智能技术领域，具体涉及数据批量传输方法及装置。

背景技术

为提高效率、尽快且及时地完成海量数据的批量处理，海量数据的主机日常批量处理，一般采用并行处理的方式进行。主机海量数据经各个批次分别进行并行批量处理、并下传大量的各类数据文件后，需要下游跨平台跨系统的UDS平台尽快完成译码拆分等加工处理，之后第一时间下传或分发各类数据文件给其他各开放平台系统、各个渠道、各家分行使用。

目前，由于各个批次处理的数据量、系统资源等存在差异，各批次完成批量处理并数据文件下传的时间不一，因此使得现有的数据批量传输方式存在UDS平台无法及时启动各批次的主机数据处理，且无法保证处理的数据的完整性的问题。

发明内容

针对现有技术中的问题，本申请提供一种数据批量传输方法及装置，能够有效提高UDS平台对接收的主机数据进行处理的及时性，并能够有效提高UDS平台处理主机数据的完整性及准确性，进而能够有效提高数据批量传输至UDS平台下游的效率及自动化程度。

为解决上述技术问题，本申请提供以下技术方案：

第一方面，本申请提供一种数据批量传输方法，包括：

生成当前经批量处理后的各批次的主机数据对应的控制文件，其中，所述控制文件用于记录对应批次的主机数据的文件信息和批量处理时间；

将各批次的主机数据及所述控制文件传输至UDS平台，以使该UDS平台基于所述控制文件中的文件信息和批量处理时间对各批次的主机数据进行数据核对，并对经数据核对的主机数据进行数据拆分及传输至所述UDS平台下游。

进一步地，所述生成当前经批量处理后的各批次的主机数据对应的控制文件，包括：

根据各批次的主机数据分别获取各批次各自对应的主机文件的个数、标识、大小和批量处理时间；

基于各批次各自对应的主机文件的个数、标识和大小分别生成各批次各自对应的CHK文件，其中，所述CHK文件用于存储主机文件的个数、标识和大小之间的对应关系；

根据所述CHK文件和所述批量处理时间生成当前经批量处理后的各批次的主机数据对应的控制文件。

进一步地，所述根据所述CHK文件和所述批量处理时间生成当前经批量处理后的各批次的主机数据对应的控制文件，包括：

基于各批次各自对应的主机文件的批量处理时间生成各批次各自对应的CTL文件，其中，所述CTL文件用于存储主机文件的标识和批量处理时间之间的对应关系；

将所述CHK文件和所述CTL文件作为当前经批量处理后的各批次的主机数据对应的控制文件。

进一步地，所述将各批次的主机数据及所述控制文件传输至UDS平台，以使该UDS平台基于所述控制文件中的文件信息和批量处理时间对各批次的主机数据进行数据核对，并对经数据核对的主机数据进行数据拆分及传输至所述UDS平台下游，包括：