[发明专利]数据加载分发的方法、装置及存储介质

说明书

本发明公开了数据加载分发的方法、装置及存储介质，装置包括控制单元、加载单元和分发单元，本发明通过控制单元、加载单元和分发单元来实现数据加载分发操作，将具体的数据加载分发方法封装在装置内部，本发明的各个单元分工明确，降低了学习成本和使用难度；另外，相较于现有技术，本发明减少了数据处理的前置步骤，让相关人员可以把绝大部分精力花在后续对数据的处理上，快速完成数据加载和分发；本发明的轻量级装置能够灵活部署。本发明作为一种数据加载分发的方法、装置及存储介质，可广泛应用于数据处理技术领域。

技术领域

本发明涉及数据处理技术领域，尤其是数据加载分发的方法、装置及存储介质。

背景技术

一般地，数据处理流程的第一步是从数据源加载待处理的数据，再将加载的数据分发给处理单元进行处理。数据加载的模式通常有以下3种：一次加载模式，循环加载模式，以及持续增量加载模式；数据分发则将数据通过不同的方式分发到不同的目的地，例如通过HTTP协议分发到HTTP服务器或通过TCP协议分发到消息队列。

目前，要解决上述数据加载与分发需求大致有两种方式，一种是自行开发数据加载与分发装置，一种是使用现有的第三方数据集成工具。

在实际操作时，对于采用的方式与工具，只有能适应项目和团队的时间和人力资源条件，才能最大化开发的效率。对于中、大型团队，有专门的小组负责自行开发维护这样一个装置或者运维一套第三方数据集成工具没有太大问题；而对于小型团队，在人力有限且时间不充裕的情况下，采用上述两种方式会遇到如下问题：

针对一个具体项目需求自行开发数据与分发装置，容易使装置与项目具体细节过度耦合，不利于复用。而使用现有的第三方数据集成工具的方式，一方面增加了团队的学习成本；一方面也因为第三方工具的高度封装性增加了出现异常情况时无法及时处理的风险；另外，用户如果发现工具提供的方法不能满足当前需求的一些细节，这时候要么在需求上做妥协以适应工具提供的方法，要么花费高昂的学习成本基于该工具进行二次开发。

由此可见，对于时间不充裕的小型团队，需要着重考虑方法及装置的学习成本、操作简易性和灵活性。

发明内容

有鉴于此，本发明实施例提供一种学习成本低、操作简易且灵活性高的数据加载分发的方法、装置及存储介质。

第一方面，本发明实施例提供了一种数据加载分发的方法，包括以下步骤：

从预存储的配置信息中读取当前任务的配置信息；

通过配置信息进行任务初始化后，保存任务的状态信息；

计算本次加载的所需参数，并根据该参数从数据源加载数据；其中，所述参数为排序字段的取值筛选范围；

根据配置信息将加载到的数据分发至目的地；

重新计算并保存任务的状态信息；

根据任务的状态信息确定本次加载记录数；

根据本次加载记录数确定数据加载分发的执行进度，完成最终的数据加载分发操作。

进一步，所述根据本次加载记录数确定数据加载分发的执行进度，完成最终的数据加载分发操作这一步骤，包括以下步骤：

当本次加载记录数等于单次最大加载数量时，等待加载时间间隔之后进行下一次加载；

当本次加载记录数小于单次最大加载数量时：

若任务采用单轮加载模式，则将保存任务状态更新为“已完成”，并结束任务；若任务采用持续增量加载模式，则等待轮次时间间隔之后，进行下一次加载；若任务采用循环加载模式，则重置任务状态并开始下一轮加载。

进一步，所述任务的配置信息包括：

数据源连接参数，用于配置连接到数据源所需的参数；