[发明专利]任务处理方法及其装置、计算机可读存储介质

说明书

本发明公开了一种任务处理方法及其装置、计算机可读存储介质。其中，该方法包括：获取第一服务器的任务环境信息，其中，第一服务器为部署于第一服务器组中并且正在执行当前任务的服务器，任务环境信息为当前任务运行所需的环境配置信息；基于任务环境信息对第二服务器进行配置，其中，第二服务器为部署于第二服务器组中处于闲置状态的服务器，第二服务器组为第一服务器组的备用服务器组；获取当前任务的任务状态信息；当第一服务器出现异常时，将当前任务移植至第二服务器，并利用第二服务器基于任务状态信息继续执行当前任务。本发明解决了针对相关技术中异地灾备数据同步过程中时效性不足的技术问题。

技术领域

本发明涉及数据处理领域，具体而言，涉及一种任务处理方法及其装置、计算机可读存储介质。

背景技术

随着技术发展，各行业基础数据规模不断增长，面对海量数据，基于HBASE列式数据库实时查询是常用的解决方案。与此同时，信息系统对业务连续性要求越来越高，银行等金融机构因其业务的特殊性，需要对系统应用和数据进行异地灾备，当系统提供查询的数据量巨大时，既要满足快速查询检索的需求，也要保证异地灾备数据同步的时效性；此外，由于HBASE中的数据通常需要经过复杂的加工流程，并且定期跑批进行修改或新增，当故障发生时，需要实现灾备环境数据加工流程的快速切换，并且需要解决切换后作业跑批的连续性等问题。

现有方案基于HBASE+OOZIE的架构，利用Hbase的流复制功能实现灾备数据同步，但也面临着以下几点问题：

(1)索引表大大增加了同步数据量，由于要对hbase进行多条件灵活查询，需要构建多张索引表，单张索引表的记录数通常与原表一致，这会造成需要同步的数据量成倍增加，而异地灾备的带宽限制，造成同步时间增长，降低了灾备数据的时效性，也增加了故障发生时主用和灾备环境数据不一致风险。

(2)主用和灾备环境的OOZIE调度作业状态无法共享，数据加工复杂的应用场景，作业数量可能达到成千上万个，当发生切换时，灾备环境需要获取原主用环境的作业日期和状态，保证数据处理的连续性，而OOZIE调度组件通常与所在的hadoop集群深度绑定，主用和灾备集群的OOZIE使用的不同的元数据库，故障发生时需要花费大量的时间精力同步作业状态并恢复数据加工流程。

(3)OOZIE组件的单点故障，目前主流的cdh和hdp两大hadoop发行版本均未提供OOZIE的高可用方案，当OOZIE服务出现故障时，可能导致数据加工流程的停止。

需要说明的是，HBASE是分布式的列式开源数据库组件，基于key-value的数据存储方式，支持PB级别的数据量的高并发快速检索，具备流复制功能，可实现HBASE集群之间数据同步，数据可保存在HDFS分布式文件系统上，由HDFS保证高容错性。

OOZIE是基于工作流引擎的开源框架,是用于对数据加工作业的调度和控制,可调用shell、postgresql、hql、jar、spark等多种类型的脚本，并支持分支、合并、判断等多种流程控制方式，与hadoop有非常深度的集成。

HBASE二级索引，由于HBASE是基于key-value的数据结构，查询条件需要提前选择并组合成rowkey进行存储，若想灵活查询非roweky组合的条件，需要根据业务需求对HBASE中数据构建多张索引表，通过索引表找到rowkey，再通过rowkey查询数据。

目前最常见的基于HBASE查询的灾备部署方案是由OOZIE提供数据加工作业的调度，主用和灾备HBASE通过流复制进行数据同步，主用环境的OOZIE工作流将数据加工完成后导入主用HBASE后，主用HBASE将hlog发送到灾备HBASE，灾备HBASE执行hlog中的命令完成相同的数据操作实现数据同步，当进行灾备切换时，停止主用环境的OOZIE调度并启动灾备环境的OOZIE调度。而对于HBase的多条件查询通过构建多张索引表来实现，因此需要对索引表进行同步来保证灾备的hbase灾备集群在切换后的可用性。