[发明专利]一种文件下载异常处理方法、装置及电子设备

说明书

本发明公开了一种文件下载异常处理方法、装置及电子设备，所述方法包括：将待下载文件ID对应的下载任务存入下载队列；调用分布式任务调度系统从所述下载队列中读取多个下载任务，并将所述多个下载任务分配至多台机器同时执行；采用多个线程并行处理文件下载和读取的异常信息，并将所述多台机器执行下载任务的异常信息存储至数据库；根据所述异常信息获取执行异常的线程心跳，并发送下载异常报告。本发明通过分布式任务调度系统将多个下载任务分配至多台机器同时执行，并采用多个线程实时捕获文件读取和下载的各类异常信息，并行处理文件下载和读取的异常信息，实现对文件下载或读取中出现异常的及时弥补，减小数据丢失。

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种文件下载异常处理方法、装置、电子设备及计算机可读介质。

背景技术

系统(如操作系统、软件系统等)在运行过程中，系统的运行环境以及系统本身都可能会对系统的运行造成影响，如硬件资源、硬件工作情况、网络通信、系统自身出错、系统运行缺陷、环境温度等都可能会造成系统运行异常，从而造成宕机的情形发生。

对于从外部系统(比如一些app)推送过来的名单，客户端在读取或者下载文件过程中，若服务器突然宕机，会造成数据丢失，从而导致数据下载异常情形发生。

现有技术中需要定时从数据库中获取数据下载异常信息，这些异常信息因为具有延时性，无法及时、准确定位下载异常的原因，因而无法对丢失的数据进行补偿，影响下载数据的完整性。

发明内容

本发明旨在解决文件下载过程中因无法及时定位数据下载异常的原因，导致异常下载数据丢失难以弥补的技术问题。

为了解决上述技术问题，本发明第一方面提出一种文件下载异常处理方法，所述方法包括：

接收外部系统发送的待下载文件ID；

将所述待下载文件ID对应的下载任务存入下载队列；

调用分布式任务调度系统从所述下载队列中读取多个下载任务，并将所述多个下载任务分配至多台机器同时执行；

采用多个线程并行处理文件下载和读取的异常信息，并将所述多台机器执行下载任务的异常信息存储至数据库；

根据所述异常信息获取执行异常的线程心跳，并发送下载异常报告。

根据本发明一种优选的实施方式，所述将所述多个下载任务分配至多台机器同时执行包括：

将所述多个下载任务平均分配给所述多台机器；

将剩余数量的下载任务分配给指定机器；

控制所述多台机器同时执行下载任务。

根据本发明一种优选的实施方式，所述采用多个线程并行处理文件下载和读取的异常信息包括：

若某台机器文件下载失败，控制该台机器重新下载所述下载失败的文件；

若某台机器文件下载成功，但文件读取失败，控制该台机器重新从所述当前读取行数的下一行读取该下载文件。

根据本发明一种优选的实施方式，所述将所述多台机器执行下载任务的异常信息存储至数据库包括：

若某台机器文件下载失败，将该台机器ID、下载文件ID和下载时间存储至数据库；

若某台机器文件下载成功，但文件读取失败，将该台机器ID和下载文件ID及当前读取行数和下载时间存储至数据库；

若某台机器文件下载成功，且文件读取成功，清除数据库中该台机器ID中的该下载文件ID。

根据本发明一种优选的实施方式，所述根据所述异常信息获取执行异常的线程心跳，并发送下载异常报告包括：