[发明专利]一种云数据的处理方法及装置

说明书

本发明的实施例提供一种云数据的处理方法及装置，方法包括：获得待处理任务的云关联数据；在待处理任务的云关联数据首次加锁处理不成功，且所述云关联数据为云冲突确认数据时，将该待处理任务调度到冲突处理队列；否则，对该云关联数据进行再次加锁处理；在该云关联数据再次加锁处理不成功的次数超过一限定值时，输出云冲突告警数据。本发明的方案将冲突任务调度到单独的冲突处理队列统一处理，不再作为云化环境下的任务，进行并发调度，从而避开冲突。

技术领域

本发明涉及云数据处理技术领域，特别是指一种云数据的处理方法及装置。

背景技术

现有技术中，云数据处理环境中，调度机制一般有如下几种：

抢占式调度机制：云化环境中，在各任务处理节点的处理进程空闲时，主动查询任务处理队列中待处理任务，按照一定规则获得某待处理任务的处理权，并对抢占的任务进行锁定防止被其他节点重复处理的机制。

分配式调度机制：云化环境中，由任务调度进程把队列中待处理任务按忙闲程度和一定规则分配到各处理节点，各个处理节点对分配的任务进行处理。

自治的任务：任务处理的数据不涉及任务外其他数据的变化，变化数据只与任务本身数据有关，这种任务称为自治的任务，自治的任务不存在冲突。

非自治的任务：任务处理的数据除了与任务本身相关外，还涉及变更任务外其他的数据，这种任务为非自治的任务。

云关联处理数据：与非自治任务相关的不在任务包含数据内需要变更的数据，这种数据与任务自身的数据存在关联关系，一般为任务处理的中间数据或结果数据。如电信业中话单处理任务中的用户账单就是云关联数据。

云冲突告警数据(CWD)：云计算处理非自治的任务时出现加锁失败后输出的告警数据。

云冲突数据(CD)：云计算产生的冲突告警数据，经过告警进程处理确认后生成云冲突数据记录，云冲突数据包括数据主键、数据类型、最近冲突次数、最近冲突发现时间、状态(云冲突数据状态为“云冲突”，当变为云冲突确认数据时状态会更新)等信息。

云冲突数据有效时间(CDVT)：云冲突数据只在冲突出现的一段时间内有效，当超过一段时间后冲突可能消失，这段云冲突出现到消失的时间称之为云冲突数据有效时间，该时间在系统内根据经验值评估可以设定为一个参数常量VT。在云冲突数据有效时间的云冲突数据称为有效云冲突数据，否则称为失效云冲突数据。

云冲突确认数据(CCD)：当云冲突数据在CDVT内的冲突次数超过设定值MC时，该云冲突数据称为云冲突确认数据，MC称为冲突确认阀值。云冲突确认数据是一种云冲突数据，保存在云冲突数据中，只是以单独的状态进行标识。

现有的任务处理机制中，在基于消息、文件、数据库表记录作为处理对象的云处理系统中，为了达到任务在各处理节点的均衡分配，主要有抢占式和分发式两种任务调度机制。

这两种调度机制，分配处理任务时只会根据任务分配的规则、任务自身包含的数据、任务关联的其他数据(其他数据不含非本任务之外其他任务的数据)来进行任务处理，不会去关联其他任务包含的数据进行处理。

举例来说：电信业的话单批价处理，处理话单文件时是根据话单文件的记录数据、用户资料、用户的历史消费情况、资费情况进行批价处理，两个话单文件之间的不同任务在任务调度时没有考虑关联关系。

现有的云化环境下任务处理流程中，在输出云冲突告警数据时，多次后输出告警后，一般依靠人工将关联的任务提取出来，并手工把任务分流到单独非并发的冲突任务队列处理，避免处理过程中再次出现锁冲突。