[发明专利]一种数据加载方法、装置和存储介质

说明书

本发明实施例公开了一种数据加载方法、装置和存储介质。本发明实施例获取待加载数据的属性信息，根据属性信息构建数据加载任务的依赖拓扑结构；根据依赖拓扑结构，计算数据加载任务的调度权重；若数据加载任务依赖的全部前序任务都已完成执行，则将数据加载任务配置到任务堆中；从任务堆中获取调度权重最大的数据加载任务并执行，以加载待加载数据。该方案极大的提高了数据的加载速度，提升了数据加载效率。

技术领域

本发明涉及通信技术领域，具体涉及一种数据加载方法、装置和存储介质。

背景技术

随着互联网技术的发展，人们已经习惯每天通过手机中的应用软件，例如新闻软件等，来了解时事新闻，或是查看自己感兴趣的文章。这些应用软件在启动时或是进入消息推荐页面时，通常需要加载大量的数据文件，以展示给用户最新、最热门或是用户最感兴趣的消息。

应用软件在进行数据加载时，需要加载数据量可能比较大，而且数据文件之间可能存在依赖关系，例如数据A完成加载之后才能加载数据B，加载的顺序受到限制。目前的解决方案是，应用软件会将有依赖关系的数据加载任务全部分配给同一加载节点进行处理。

在对现有技术的研究和实践过程中，本发明的发明人发现，如果将有依赖关系的数据加载任务全部分配给同一加载节点进行处理，则会导致有的数据加载节点中数据加载任务少，花费时间短，而有的加载节点中任务量大，完成时间长，就需要其他先完成节点的等待后完成的节点，延长数据加载的整体时间，导致数据加载的效率非常低。

发明内容

本发明实施例提供一种数据加载方法、装置和存储介质，旨在解决数据加载效率低的技术问题。

本发明实施例提供一种数据加载方法，包括：

获取待加载数据的属性信息，根据所述属性信息构建数据加载任务的依赖拓扑结构；

根据所述依赖拓扑结构，计算数据加载任务的调度权重；

若所述数据加载任务依赖的全部前序任务都已完成执行，则将所述数据加载任务配置到任务堆中；

从所述任务堆中获取调度权重最大的数据加载任务并执行，以加载所述待加载数据。

在一些实施例中，所述获取待加载数据的属性信息，根据所述属性信息构建数据加载任务的依赖拓扑结构，包括：

获取待加载数据的属性信息，所述属性信息指示了待加载数据依赖的前序数据信息；

根据所述待加载数据依赖的前序数据信息，确定其对应的数据加载任务所依赖的前序任务信息；

根据所述数据加载任务依赖的前序任务信息，配置数据加载任务的依赖拓扑结构。

在一些实施例中，所述根据所述数据加载任务依赖的前序任务信息，配置数据加载任务的依赖拓扑结构，包括：

将所述数据加载任务抽象为节点，根据所述数据加载任务依赖的前序任务信息确定各节点之间的依赖关系；

根据所述各节点之间的依赖关系，配置数据加载任务的依赖拓扑结构，其中，所述依赖拓扑结构指示了所述数据加载任务的前序任务和/或后继任务。

在一些实施例中，所述根据所述依赖拓扑结构，计算数据加载任务的调度权重，包括：

根据所述依赖拓扑结构，确定所述数据加载任务是否有后继任务；

若所述数据加载任务有后继任务，则获取所述后继任务的调度权重；

根据所述后继任务的调度权重及所述数据加载任务自身的运行时间，计算所述数据加载任务的调度权重。