[发明专利]数据处理方法、装置、存储介质及处理器

说明书

本申请公开了一种数据处理方法、装置、存储介质及处理器。该方法包括：创建任务数据；通过工作流引擎对任务数据进行推送，获取推送出的任务数据；通过执行器根据推送出的任务数据触发任务执行指令；响应任务执行指令并执行，将推送出的任务数据的执行状态进行记录。通过本申请，解决了相关技术中数据处理效率较低的问题。

技术领域

本申请涉及数据处理的技术领域，具体而言，涉及一种数据处理方法、装置、存储介质及处理器。

背景技术

随着B2C企业以及各个渠道在数据体量，业务增量上的快速发展，各个企业的营销活动的流程变得日益复杂，现有的很多技术或者方法，绝大多数是基于平台对接不同的渠道来触达客户群体，一旦系统宕机或者网络故障，系统便无法从错误或者故障中自动化的恢复并继续执行和处理数据。特别随着消费者用户产生的数据的时效性、准确性和可靠性要求越来越高，由于某些因素的影响，例如，系统出现故障时，难以及时恢复，影响对数据处理的效率，进而影响用户体验。

针对相关技术中数据处理效率较低的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种数据处理方法、装置、存储介质及处理器，以解决相关技术中数据处理效率较低的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种数据处理方法。该方法包括：创建任务数据；通过工作流引擎对任务数据进行推送，获取推送出的任务数据；通过执行器根据推送出的任务数据触发任务执行指令；响应任务执行指令并执行，将所述推送出的任务数据的执行状态进行记录。

进一步地，创建任务数据之后，该方法还包括：对任务数据进行审核，并将通过审核的任务数据存储到业务数据库，其中，业务数据库进行数据更新后，采用日志集群对更新操作进行记录；获取推送对象的数据信息，并将推送对象的数据信息进行存储；通过工作流引擎读取推送对象的数据信息，将推送对象的数据信息存入Redis数据库。

进一步地，通过工作流引擎对任务数据进行推送，获取推送出的任务数据还包括：基于调度器对任务数据进行多个节点的分布式调度，得到每个调度后的任务数据，其中，每个调度后的任务数据是根据Redis数据库中推送对象的数据信息进行分配的；通过工作流引擎对每个调度后的任务数据进行推送，获取推送出的任务数据。

进一步地，工作流引擎对任务数据的推送方式至少包括以下之一：应用程序推送、信息推送以及邮件推送。

进一步地，将任务数据的执行状态记录到hbase数据状态表中。

进一步地，该方法还包括：若检测到任务执行过程出现故障，从hbase数据状态表中获取任务数据的执行状态；基于任务数据的执行状态确定出现故障的目标节点；对目标节点执行任务恢复操作。

为了实现上述目的，根据本申请的另一方面，提供了一种数据处理装置。该装置包括：第一创建单元，用于创建任务数据；第一推送单元，用于通过工作流引擎对任务数据进行推送，获取推送出的任务数据；第一执行单元，用于通过执行器根据推送出的任务数据触发任务执行指令；第一响应单元，用于响应任务执行指令并执行，将所述推送出的任务数据的执行状态进行记录。

进一步地，该装置还包括：第一审核单元，用于创建任务数据之后，对任务数据进行审核，并将通过审核的任务数据存储到业务数据库，其中，业务数据库进行数据更新后，采用日志集群对更新操作进行记录；第一获取单元，用于获取推送对象的数据信息，并将推送对象的数据信息进行存储；第一存储单元，用于通过工作流引擎读取推送对象的数据信息，将推送对象的数据信息存入Redis数据库。

进一步地，第一推送单元还包括：第一调度模块，用于基于调度器对任务数据进行多个节点的分布式调度，得到每个调度后的任务数据，其中，每个调度后的任务数据是根据Redis数据库中推送对象的数据信息进行分配的；第一推送模块，用于通过工作流引擎对每个调度后的任务数据进行推送，获取推送出的任务数据。