[发明专利]数据处理方法及装置

说明书

本申请提供了一种数据处理方法及装置，其中所述数据处理方法，包括：将从各个数据源获取的多个数据，作为待处理数据；根据所述待处理数据中的每一个数据所属的项目类型，将所述待处理数据划分为主线数据和辅线数据；基于主线处理流程，对所述主线数据进行处理，得到多个主题的主线数据集市，以及基于辅线处理流程对所述辅线数据进行处理，得到多个主题的辅线数据集市；其中，对所述主线数据和所述辅线数据的处理采用统一的计算规范与统一的统计口径；所述计算规范与所述统计口径基于所述主线数据设置；将所述各个所述主线数据集市和各个所述辅线数据集市进行保存，并提供给外部使用。

技术领域

本申请涉及数据处理技术领域，特别涉及一种数据处理方法及装置。

背景技术

对于大部分公司，特别是处于发展初期的公司，存在业务变化快，产品迭代迅速的情况，因此数据的更迭速度和数据量增长较快，这也就造成需要使用数据进行分析的部门需要花费大量的人力、时间和精力用于数据处理。为了便于数据的处理，现在一般通过数据仓库从不同的数据源采集数据，按不同的主题进行汇总计算等处理，以得到不同的部门查看或者使用的数据。

在现有的数据仓库中，基于维度数据构建独立数据集市的数据仓库，即基于项目构建相应的数据集市，每个项目的数据使用单独的数据梳理流程进行数据处理，所以可以灵活处理项目的上线，下线等操作，并且可以根据需要对项目数据进行变更等操作，而对项目外环境无影响，或者影响很小，因此被广泛应用。

但是，如图1所示，这种数据仓库中的每个数据集市的数据获取和处理都是独立的，经常存在有统计口径以及计算逻辑时不统一的情况，所以数据处理架构是无法复用，因此不同数据采用不同的处理方式。所以各个数据集市彼此间也无法直接复用，需要重复进行计算，造成计算冗余以及数据冗余的情况。所以现有数据仓库对数据的处理方法存在明显的复用性较差的问题。

发明内容

基于上述现有技术的不足，本发明提供了一种数据处理方法及装置，以解决现有技术存在数据处理方式及数据复用性较差的问题。

为了实现上述目的，本发明提供了以下技术方案：

本申请一方面提供了一种数据处理方法，包括：

将从各个数据源获取的多个数据，作为待处理数据；

根据所述待处理数据中的每一个数据所属的项目类型，将所述待处理数据划分为主线数据和辅线数据；

基于主线处理流程，对所述主线数据进行处理，得到多个主题的主线数据集市，以及基于辅线处理流程对所述辅线数据进行处理，得到多个主题的辅线数据集市；其中，对所述主线数据和所述辅线数据的处理采用统一的计算规范与统一的统计口径；所述计算规范与所述统计口径基于所述主线数据设置；

将各个所述主线数据集市和各个所述辅线数据集市进行保存，并提供给外部使用。

可选地，在上述的数据处理方法中，所述基于主线处理流程，对所述主线数据进行处理，得到多个主题的主线数据集市，以及基于辅线处理流程对所述辅线数据进行处理，得到多个主题的辅线数据集市，包括：

基于所述主线处理流程，对所述主线数据进行相应的汇总计算处理，得到主线汇总数据，以及基于所述辅线处理流程，对所述辅线数据进行相应的汇总计算处理，得到辅线汇总数据；

基于所述主线数据对应的维度数据，利用所述主线汇总数据创建得到多个主题的主线数据集市，以及基于所述辅线数据对应的维度数据，利用所述辅线汇总数据创建得到多个主题的辅线数据集市。

可选地，在上述的数据处理方法中，所述辅线数据包括业务附加需求数据以及临时业务项目数据，所述基于所述主线处理流程，对所述主线数据进行相应的汇总计算处理，得到主线汇总数据，以及基于所述辅线处理流程，对所述辅线数据进行相应的汇总计算处理，得到辅线汇总数据，包括：