[发明专利]一种基于数据处理的批量数据异步解决方法及相关设备

说明书

本发明涉及大数据领域的数据处理技术，具体涉及一种基于数据处理的批量数据异步解决方法及相关设备，所述方法包括：将下载请求生成下载任务；计算多个下载任务的顺序权重并排列任务顺序；依照任务顺序执行下载任务，生成任务文件，通知对应业务人员并将成功生成的任务文件发送至对应业务人员。上述方法通过获取不同任务的权重，使得任务处理过程简单化、流程化，提高任务处理的效率，同时针对多个任务异步处理，使得可以多个任务同时处理，减少任务处理的时间。

技术领域

本发明涉及大数据领域，特别是涉及一种基于数据处理的批量数据异步解决方法及相关设备。

背景技术

随着互联网技术的不断推进，互联网用户的数量也在不断扩充，大规模用户数量的增长使得互联网上的数据呈现出爆炸式增长，为了应对庞大的互联网数据，在任务的处理和转换过程中必然会产生一些问题，尤其销售系统的日均新增通话记录数量庞大，获取数据的过程较为繁琐，不同业务场景下的数据抽取逻辑及格式各不相同，同时，抽取数据的过程耗时时间长，且导出过程复杂，无法及时满足不同用户的需求。

现有的互联网数据的处理主要采用的是同步进行的方式，数据量较小的情况可以正常进行，但是当数据批量较大时，容易导致系统崩盘，无法正常运行，更容易导致重复计算、数据遗失等情况的发生。

发明内容

基于此，有必要针对批量数据同步进行时，易容易引发重复计算、数据遗失等情况的问题，提供一种基于数据处理的批量数据异步解决方法及相关设备。

一种基于数据处理的批量数据异步解决方法，包括：

获取业务人员的下载请求，根据所述下载请求生成下载任务，将所述下载任务加入到任务下载池中；

计算所述任务下载池中多个所述下载任务的顺序权重，依据所述顺序权重从大到小依次排列所述下载任务的任务顺序；

按照所述任务顺序执行所述下载任务，获得所述下载任务对应的任务数据，将执行成功的下载任务加入待生成文件任务池，将执行失败的下载任务加入任务完成通知池；

计算所述待生成文件任务池中的多个所述下载任务的生成权重，依据所述生成权重从大到小依次将对应的任务数据生成任务文件，并将所述任务文件中的下载任务加入所述任务完成通知池；

计算所述任务完成通知池中的多个所述下载任务的通知权重，依据所述通知权重定时遍历所述任务完成通知池，将已完成的所述下载任务通知对应业务人员并将成功生成的所述任务文件发送至对应业务人员，将已通知的所述下载任务从任务完成通知池移除。

在一种可能的设计中，所述获取业务人员的下载请求，包括：

获取业务人员的访问请求，将数据下载页面呈现给所述业务人员，通过所述数据下载页面获取所述业务人员提交的所述下载请求，所述下载请求包括数据筛选条件、统计维度、优先级。

在一种可能的设计中，所述根据所述下载请求生成下载任务，将所述下载任务加入到任务下载池中，包括：

获取人力资源系统的职位登记表，依据所述职位登记表获取所述业务人员的职位，确定所述下载请求的提交人角色；

读取所述下载请求，依据所述下载请求中的所述筛选条件、所述统计维度定义所述下载请求的任务类型；

将所述提交人角色、数据筛选条件、统计维度、任务类型生成下载任务，将所述下载任务加入任务下载池并将数据筛选条件、统计维度对应的优先级标记在所述下载任务中。

在一种可能的设计中，所述计算所述任务下载池中多个所述下载任务的顺序权重，依据所述顺序权重从大到小依次排列所述下载任务的任务顺序，包括：

获取所述下载任务进入所述下载任务池的时间，统计所述下载任务的排队时长；