[发明专利]一种数据处理方法及系统

权利要求书

1.一种数据处理方法，其特征在于，该方法包括：

根据至少2个不同级别的分区键，创建元数据模型，元数据模型中定义的每个数据分区至少包含除分区键所在的数据列以外的所有数据列；

接收到原始数据后，根据所述元数据模型对所述原始数据进行分区处理；

按照级别从高到低的顺序，依次使用分区键对所述原始数据进行分区处理；其中，每次进行分区处理时所针对的数据，为上一次分区处理得到的数据分区，使用最高级别的分区键进行分区处理时所针对的数据，为所述原始数据，分区处理后得到的数据实体中包含除分区键所在的数据列以外的所有数据列。

2.如权利要求1所述的方法，其特征在于，根据至少2个不同级别的分区键，创建元数据模型，具体包括：

根据所述至少2个不同级别的分区键，建立树形结构的元数据模型，每个分区键对应所述树形结构中的一个树状层次，且从根节点到叶子节点，每个树状层次所对应的分区键级别依次降低，所述树形结构中的各节点存储有相应分区信息。

3.如权利要求1所述的方法，其特征在于，根据所述元数据模型对所述原始数据进行分区处理，具体包括：

如果分区处理得到的数据实体的数据量小于设定阈值，则将数据量小于设定阈值的数据实体进行合并处理并存储，并根据合并处理操作，更新元数据模型。

4.如权利要求1所述的方法，其特征在于，该方法还包括：

接收到数据查询请求后，根据所述请求中携带的查询条件，通过查询所述元数据模型，确定出需要扫描的数据分区，根据需要扫描的数据分区确定出对应的数据实体；

根据所述数据查询条件，对需要扫描的数据分区所对应的数据实体进行扫描，得到符合查询条件的数据并返回。

5.一种数据处理系统，其特征在于，包括：

控制模块，用于根据至少2个不同级别的分区键，创建元数据模型，并将创建的元数据模型存储到元数据管理模块；所述元数据模型中定义的每个数据分区至少包含除分区键所在的数据列以外的所有数据列；

元数据管理模块，用于存储和维护元数据模型；

数据处理模块，用于在接收到原始数据后，根据所述元数据管理模块中的元数据模型，对所述原始数据进行分区处理；

所述数据处理模块具体用于，按照级别从高到低的顺序，依次使用分区键对所述原始数据进行分区处理；其中，每次进行分区处理时所针对的数据，为上一次分区处理得到的数据分区，使用最高级别的分区键进行分区处理时所针对的数据，为所述原始数据，分区处理后得到的数据实体中包含除分区键所在的数据列以外的所有数据列。

6.如权利要求5所述的数据处理系统，其特征在于，所述控制模块具体用于，根据所述至少2个不同级别的分区键，建立树形结构的元数据模型，每个分区键对应所述树形结构中的一个树状层次，且从根节点到叶子节点，每个树状层次所对应的分区键级别依次降低，所述树形结构中的各节点存储有相应分区信息。

7.如权利要求5所述的数据处理系统，其特征在于，所述数据处理模块具体用于，如果分区处理得到的数据实体的数据量小于设定阈值，则将数据量小于设定阈值的数据实体进行合并处理并存储，并根据合并处理操作，更新所述元数据管理模块中的元数据模型。

8.如权利要求5所述的数据处理系统，其特征在于，所述控制模块还用于，接收到数据查询请求后，根据所述请求中携带的查询条件，通过查询所述元数据管理模块中的元数据模型，确定出需要扫描的数据分区，根据需要扫描的数据分区确定出对应的数据实体；根据所述数据查询条件，对需要扫描的数据分区所对应的数据实体进行扫描，得到符合查询条件的数据并返回；或者

所述控制模块还用于接收到数据查询请求后，根据所述请求中携带的查询条件，通过查询所述元数据管理模块中的元数据模型，确定出需要扫描的数据分区，根据需要扫描的数据分区确定出对应的数据实体；所述数据处理模块还用于，根据所述数据查询条件，对需要扫描的数据分区所对应的数据实体进行扫描，得到符合查询条件的数据，并通过所述控制模块返回所述符合查询条件的数据。