[发明专利]数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，包括：

将从各个数据源获取的多个数据，作为待处理数据；

根据所述待处理数据中的每一个数据所属的项目类型，将所述待处理数据划分为主线数据和辅线数据；

基于主线处理流程，对所述主线数据进行处理，得到多个主题的主线数据集市，以及基于辅线处理流程对所述辅线数据进行处理，得到多个主题的辅线数据集市；其中，对所述主线数据和所述辅线数据的处理采用统一的计算规范与统一的统计口径；所述计算规范与所述统计口径基于所述主线数据设置；

将各个所述主线数据集市和各个所述辅线数据集市进行保存，并提供给外部使用。

2.根据权利要求1所述的方法，其特征在于，所述基于主线处理流程，对所述主线数据进行处理，得到多个主题的主线数据集市，以及基于辅线处理流程对所述辅线数据进行处理，得到多个主题的辅线数据集市，包括：

基于所述主线处理流程，对所述主线数据进行相应的汇总计算处理，得到主线汇总数据，以及基于所述辅线处理流程，对所述辅线数据进行相应的汇总计算处理，得到辅线汇总数据；

基于所述主线数据对应的维度数据，利用所述主线汇总数据创建得到多个主题的主线数据集市，以及基于所述辅线数据对应的维度数据，利用所述辅线汇总数据创建得到多个主题的辅线数据集市。

3.根据权利要求2所述的方法，其特征在于，所述辅线数据包括业务附加需求数据以及临时业务项目数据，所述基于所述主线处理流程，对所述主线数据进行相应的汇总计算处理，得到主线汇总数据，以及基于所述辅线处理流程，对所述辅线数据进行相应的汇总计算处理，得到辅线汇总数据，包括：

基于所述主线处理流程，对各个所述主线数据进行统一的汇总计算处理得到主线汇总数据，并将所述主线汇总数据存储到存储表中，以及分别对所述业务附加需求数据、所述临时业务项目数据进行相应的汇总处理，得到业务附加需求汇总数据及临时业务项目汇总数据，并将所述业务附加需求汇总数据及所述临时业务项目汇总数据分别存储到存储表中；其中，所述业务附加需求数据、所述临时业务项目数据分别基于所述辅线处理流程中相应的子处理流程进行汇总计算处理；一张存储表存储的数据属于同一项目，且所述存储表的表名包含所述项目的项目名称。

4.根据权利要求1所述的方法，其特征在于，所述根据所述待处理数据中的每一个数据所属的项目类型，将所述待处理数据划分为主线数据和辅线数据之前，还包括：

按照预设的统一规则，对各个所述待处理数据进行清洗。

5.根据权利要求3所述的方法，其特征在于，还包括：

接收临时业务项目的结束消息；其中，所述结束消息包括所述临时业务项目的项目名称；

将与所述临时业务项目的项目名称对应的所述存储表以及所述辅线数据集市进行归档。

6.一种数据处理装置，其特征在于，包括：

获取单元，用于将从各个数据源获取的多个数据，作为待处理数据；

划分单元，用于根据所述待处理数据中的每一个数据所属的项目类型，将所述待处理数据划分为主线数据和辅线数据；

处理单元，用于基于主线处理流程，对所述主线数据进行处理，得到多个主题的主线数据集市，以及基于辅线处理流程对所述辅线数据进行处理，得到多个主题的辅线数据集市；其中，对所述主线数据和所述辅线数据的处理采用统一的计算规范与统一的统计口径；所述计算规范与所述统计口径基于所述主线数据设置；

应用单元，用于将各个所述主线数据集市和各个所述辅线数据集市进行保存，并提供给外部使用。

7.根据权利要求6所述的装置，其特征在于，所述处理单元，包括：

汇总单元，用于基于所述主线处理流程，对所述主线数据进行相应的汇总计算处理，得到主线汇总数据，以及基于所述辅线处理流程，对所述辅线数据进行相应的汇总计算处理，得到辅线汇总数据；

整理单元，用于基于所述主线数据对应的维度数据，利用所述主线汇总数据创建得到多个主题的主线数据集市，以及基于所述辅线数据对应的维度数据，利用所述辅线汇总数据创建得到多个主题的辅线数据集市。