[发明专利]数据处理方法及系统

权利要求书

1.一种数据处理方法，应用于数据处理系统，其特征在于，所述方法包括：

所述数据处理系统根据预设数据源配置信息从数据源获取业务数据；

根据所述业务数据的数据结构，在所述业务数据的数据结构内部封装所述业务数据对应的业务处理策略；

将所获取的业务数据分配到所述数据处理系统的N个数据处理层，N为所述业务数据对应的业务处理策略指示的不同粒度业务信息的数量，所述粒度为对所述业务数据进行处理以得到所述业务信息的基本单位，N为大于1的整数；

在所述数据处理系统的第i处理层，以第i粒度对所接收的业务数据进行合并，得到第i粒度业务数据，i为大于等于1且小于等于N的整数；

利用所述业务数据对应的业务处理策略，对所述第i粒度业务数据进行处理，得到第i业务信息；其中，所述第i粒度大于第i-1粒度，所述第i-1粒度为在所述数据处理系统的第i-1处理层对所接收的业务数据进行合并的粒度。

2.如权利要求1所述的方法，其特征在于，所述业务数据的数据结构采用元组类型时，在所述业务数据的数据结构内部封装所述业务数据对应的业务处理策略，包括：

在所述元组类型内部封装至少一个处理接口：数据获取接口；数据清洗接口；数据合并接口；数据更新接口；其中，

所述处理接口与所述业务处理策略指示对所述业务数据进行的处理对应。

3.如权利要求2所述的方法，其特征在于，

所述数据处理系统根据预设数据源配置信息从数据源获取业务数据，包括：

通过调用所述元组类型中封装的数据获取接口，在所述元组类型内部填充从所述数据源获取的业务数据，得到封装有所述业务数据的元组；

所述利用所述业务数据对应的业务处理策略，对所述第i粒度业务数据进行处理，包括：

调用以下处理接口至少一个处理封装有所述第i粒度业务数据的元组：调用数据清洗接口、数据合并接口、数据更新接口。

4.如权利要求1所述的方法，其特征在于，所述以第i粒度对所接收的业务数据进行合并，包括：

采用以下维度至少之一作为所述第i粒度，对所接收的业务数据进行合并：

时间维度；空间维度。

5.如权利要求1至4任一项所述的方法，其特征在于，当所述业务数据以元组的形式封装时，所述在数据处理系统的第i处理层，以第i粒度对所接收的业务数据进行合并，包括：

提取所述第i粒度对应的业务数据的元组中封装的业务数据字段；

根据所述元组对应的元组类型，将所提取的业务数据字段存储至目标元组，将所述目标元组标识为以所述第i粒度合并的业务数据的元组。

6.一种数据处理系统，其特征在于，所述数据处理系统包括：

数据源单元，用于根据预设数据源配置信息从数据源获取业务数据；

归一化单元，用于在所述数据源单元将所获取的业务数据分配到所述数据处理系统的N个数据处理层之前，根据所述业务数据的数据结构，在所述业务数据的数据结构内部封装所述业务数据对应的业务处理策略；

所述数据源单元，还用于将所获取的业务数据分配到所述数据处理系统的N个数据处理层，N为所述业务数据对应的业务处理策略指示的不同粒度业务信息的数量，所述粒度为对所述业务数据进行处理以得到所述业务信息的基本单位，N为大于1的整数；

数据合并单元，用于在所述数据处理系统的第i处理层，以第i粒度对所接收的业务数据进行合并，得到第i粒度业务数据，i为大于等于1且小于等于N的整数；

更新单元，用于利用所述业务数据对应的业务处理策略，对所述第i粒度业务数据进行处理，得到第i业务信息；其中，所述第i粒度大于第i-1粒度，所述第i-1粒度为在所述数据处理系统的第i-1处理层对所接收的业务数据进行合并的粒度。

7.如权利要求6所述的数据处理系统，其特征在于，

所述归一化单元，还用于在所述业务数据的数据结构采用元组类型时，在所述元组类型内部封装至少一个处理接口：数据获取接口；数据清洗接口；数据合并接口；数据更新接口；其中，

所述处理接口与所述业务处理策略指示对所述业务数据进行的处理对应。