[发明专利]数据导出方法、装置、电子设备及存储介质

说明书

本发明涉及数据处理领域，揭露了一种数据导出方法，包括：接收数据导出请求，将所述数据导出请求划分为多个数据导出任务，并对所述多个数据导出任务进行优先级排序后提交至预设的等待队列中；响应于所述等待队列中的数据导出事件，将所述等待队列中的数据导出任务传输至预设的运行队列中；对所述运行队列中的数据导出任务进行子任务的划分，生成数据导出子任务；根据所述数据导出子任务，从业务系统中执行对应的数据导出，得到子数据文件。本发明还提出一种数据导出装置、电子设备以及存储介质。此外，本发明还涉及区块链技术，所述数据可存储于区块链中。本发明可以监控数据导出时的数据状态，及支持大数据量的一次性数据导出。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据导出方法、装置、电子设备及计算机可读存储介质。

背景技术

随着大数据的日益发展，在业务系统中经常会有导出数据的场景，目前通常采用数据导出工具进行数据导出，但是通过数据导出工具实现数据导出容易存在以下缺陷：第一、无法监控数据导出的数据状态；第二、无法支持大数据量一次性数据导出。

因此，亟待一种数据导出的方案以解决上述数据导出存在的缺陷。

发明内容

本发明提供一种数据导出方法、装置、电子设备及计算机可读存储介质，其主要目的在于监控数据导出时的数据状态，及支持大数据量的一次性数据导出。

为实现上述目的，本发明提供的一种数据导出方法，包括：

接收数据导出请求，将所述数据导出请求划分为多个数据导出任务，并对所述多个数据导出任务进行优先级排序后提交至预设的等待队列中；

响应于所述等待队列中的数据导出事件，将所述等待队列中的数据导出任务传输至预设的运行队列中；

对所述运行队列中的数据导出任务进行子任务的划分，生成数据导出子任务；

根据所述数据导出子任务，从业务系统中执行对应的数据导出，得到子数据文件。

可选地，所述将所述数据导出请求划分为多个数据导出任务，包括：

获取所述数据导出请求中的数据导出字段，识别出所述数据导出字段中的数据导出类型；

将具有相同数据导出类型的任务进行聚类，形成一个或多个数据导出任务聚类点；

根据所述导出任务聚类点，生成对应的数据导出任务。

可选地，所述对所述多个数据导出任务进行优先级排序，包括：

获取每个所述数据导出任务的重要程度标识；

根据所述重要程度标识，对每个所述数据导出任务进行排序。

可选地，所述响应于所述等待队列中的数据导出事件，将所述等待队列中的数据导出任务传输至预设的运行队列中，包括：

基于预先在所述等待队列设置的数据导出任务时间戳，触发所述等待队列中数据导出任务的数据导出事件；

根据所述数据导出事件，及预先配置的任务传输通道，将所述等待队列中数据导出任务传输至预设的运行队列中。

可选地，所述对所述运行队列中的数据导出任务进行子任务划分，生成数据导出子任务，包括：

读取所述数据导出任务的导出数据量；

在所述导出数据量大于预设阈值时，对所述数据导出任务进行导出数据量分割，生成数据导出子任务。

可选地，所述等待队列通过redis缓存构建，及所述运行队列通过链表形式构建。

可选地，在所述从业务系统中执行对应的数据导出，得到子数据文件之后，该方法还包括：