[发明专利]数据处理方法及系统、数据查询方法及系统

说明书

本发明公开一种数据处理方法及系统，还公开一种数据查询方法及系统，其中数据处理方法包括以下步骤：配置查询维度、业务标识以及所述查询维度和所述业务标识的映射数据；获取包含业务标识的业务数据，并基于所述映射数据将所述业务数据作为相应查询维度的待处理数据；基于查询维度提取各待处理数据的唯一标识，并基于所述唯一标识为相应的待处理数据加锁，获得加锁数据；基于查询维度对所述加锁数据进行处理，获得相应的整合数据并将其存储至目标数据库后解锁所述加锁数据。本发明通过基于查询维度所对应的唯一标识进行加锁，保证避免数据处理过程中发生主键冲突，适用于待处理数据的种类繁多且各类数据之间关系复杂的场景。

技术领域

本发明涉及数据处理领域，尤其涉及一种基于查询维度进行整合和存储的数据处理技术。

背景技术

数据处理过程中往往采用锁机制避免冲突，锁具有多种粒度，如表级锁、行级锁，粒度越小锁的开销越大，并发能力越强，当待处理数据的数据量较大时，往往采用细粒度的锁(行级)提高性能。

现今业务系统(记为源业务系统)往往按照业务类别将数据分类存储于相应的数据库(记为源数据库)中，各类数据的数据量大且关联关系复杂，即使采用细粒度的行级锁，仍无法避免数据处理的过程中出现冲突。

发明内容

本发明针对待处理数据的种类繁多且各类数据之间关系复杂时，即使基于细粒度锁进行数据处理仍会出现冲突的问题，提出一种基于唯一标识对待处理数据加锁的数据处理技术，还提出一种基于该数据处理技术所实现的数据查询技术。

为了解决上述技术问题，本发明通过下述技术方案得以解决：

一种数据处理方法，包括以下步骤：

配置查询维度、业务标识以及所述查询维度和所述业务标识的映射数据；

获取包含业务标识的业务数据，并基于所述映射数据将所述业务数据作为相应查询维度的待处理数据；

基于查询维度提取各待处理数据的唯一标识，并基于所述唯一标识为相应的待处理数据加锁，获得加锁数据；

基于查询维度对所述加锁数据进行处理，获得相应的整合数据并将其存储至目标数据库后解锁所述加锁数据。

作为一种可实施方式：

基于查询维度提取待处理数据的唯一标识，将所述唯一标识于预设的锁列表中进行检索，获得检索结果；

当检索到所述唯一标识时，则将所述待处理数据作为等待数据；

当未检索到所述唯一标识时，则为所述待处理数据加锁，获得加锁数据，并将所述唯一标识添加至所述锁列表中。

作为一种可实施方式：

当将所得整合数据存储至目标数据库后，基于唯一标识检索与所述加锁数据相关联的等待数据，并为相应的加锁数据解锁；

当检索到与所述加锁数据相关联的等待数据，则为所述等待数据加锁，获得新的加锁数据；

当未检索到与所述加锁数据相关联的等待数据，则于锁列表中删除所述加锁数据所对应的唯一标识。

作为一种可实施方式：映射数据包括第一映射数据和第二映射数据；

所述第一映射数据包括相映射的查询维度和主题列表，所述主题列表包括至少一个业务主题；

所述第二映射数据包括相映射的业务主题和标识列表，所述标识列表包括至少一个业务标识。

作为一种可实施方式：

获得包含业务标识的业务数据；

基于所述业务标识从所述第二映射数据中提取与所述业务数据相匹配的业务主题；