[发明专利]一种数据文件采集分发的方法、系统

说明书

本发明实施例公开了一种数据文件采集分发的方法、系统、设备和计算机可读存储介质，依据获取的采集任务的配置信息，从源主机中采集数据文件，并将其存储于文件备份目录中；在各个文件分发目录中建立与文件备份目录中数据文件的软链接，并将采集日志写入数据库中；依据该软链接，获取数据文件，并根据获取的分发配置信息，将该数据文件发送给目标主机；完成数据文件的分发后，删除该软链接，并将分发日志写入数据库中。通过将文件采集操作和文件分发操作分离，在接收到目标主机发送的重发请求时，修改采集日志的重发标识，依据对应的重发规则，将数据文件重新发送至目标主机，解决了采集分发在处理文件重新分发时效率低下且浪费系统资源的问题。

技术领域

本发明涉及文件处理技术领域，特别是涉及一种数据文件采集分发的方法、系统、设备和计算机可读存储介质。

背景技术

在大型业务系统中，往往需要将业务数据文件发送到多个子系统进行相关的业务处理，为了不影响提供数据源的业务系统，一般是通过独立的数据文件采集分发系统来执行数据文件的分发。

传统的数据文件采集分发系统，通常的做法是将采集操作和分发操作放在同一个进程按顺序执行，例如执行采集分发任务时，先从源主机采集数据文件放在临时目录，再将数据文件分发到目标主机，最后删除临时目录的数据文件。这种做法存在的问题是，如果目标主机由于丢失数据文件或其他原因而要求重新分发数据文件时，由于此时采集和分发是一起执行的，则需要将整个采集分发任务重新执行一遍，即需要从源主机重新采集数据文件，再重新分发数据文件给目标主机，而不能快速的将数据文件重新分发给目标主机，这样就降低了重新分发的处理效率且造成了系统资源的浪费。

可见，如何解决处理文件重新分发时效率低下且浪费系统资源的问题，是本领域技术人员亟待解决的问题。

发明内容

本发明实施例的目的是提供一种数据文件采集分发的方法、系统、设备和计算机可读存储介质，可以解决处理文件重新分发时效率低下且浪费系统资源的问题。

为解决上述技术问题，本发明实施例提供一种数据文件采集分发的方法，包括：

依据获取的采集任务的配置信息，从所述采集任务对应的源主机中采集数据文件，并将所述数据文件存储于对应的文件备份目录中；

在各个文件分发目录中建立与所述文件备份目录中所述数据文件的软链接，并将采集日志写入数据库中；

获取分发任务的分发配置信息；

依据建立的所述软链接，从所述分发配置信息中携带的文件分发目录中获取所述数据文件，并将所述数据文件发送给对应的目标主机；

当完成所述数据文件的分发任务后，删除所述软链接，并将分发日志写入所述数据库中；

依据接收到的所述目标主机发送的重发请求，修改所述采集日志的重发标识；

依据所述重发标识对应的重发规则，将所述数据文件重新发送至所述目标主机。

可选的，所述依据所述重发标识所属的操作类型，将所述数据文件重新发送至所述目标主机包括：

S201：判断所述重发标识是否属于第一类标识；若是，则执行S202；若否，则执行S204；

S202：依据所述采集任务的配置信息，在目标文件分发目录中建立与所述文件备份目录中所述数据文件的软链接，并更新所述重发标识；其中，所述目标文件分发目录为所述目标主机对应的文件分发目录；

S203：依据建立的所述软链接，从所述目标文件分发目录中获取数据文件，并将所述数据文件重新发送至所述目标主机，当完成所述数据文件的重新发送后，删除所述软链接；

S204：判断所述重发标识是否属于第二类标识；若是，则执行S205；