[发明专利]数据处理方法、电子设备及存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取数据处理指令，从所述数据处理指令中提取作业类型、时间区间和时间粒度；

基于预定义的数据处理框架提供的任务分解类，按照所述时间粒度将所述时间区间划分为多个子区间，按照所述作业类型生成每个子区间对应的子任务；

通过所述子任务调用所述数据处理框架提供的数据处理接口，获取待处理数据，所述待处理数据包括源数据和配置数据；

基于所述数据处理框架提供的数据处理接口，对所述源数据和所述配置数据进行处理，并将处理后的数据保存为列式存储格式parquet文件。

2.根据权利要求1所述的数据处理方法，其特征在于，在所述基于所述数据处理框架提供的数据处理接口，对所述源数据和所述配置数据进行处理之前，所述方法还包括：

对所述源数据进行封装，得到供SQL语句查询的弹性分布式数据集RDD对象；

对所述配置数据进行封装，得到供SQL语句查询的简单实体Bean对象。

3.根据权利要求2所述的数据处理方法，其特征在于，所述对所述源数据进行封装，得到供SQL语句查询的弹性分布式数据集RDD对象，包括：

根据预设的元数据名获取预先定义的源数据的元数据；

根据所述元数据和预设的过滤条件，得到待封装元数据；

将所述元数据中指定的源数据标记为弹性分布式数据集字符串类型对象；

将所述弹性分布式数据集字符串类型对象以所述待封装元数据为过滤条件转换为弹性分布式数据集结构化类型对象；

将所述待封装元数据和所述弹性分布式数据集结构化类型对象转换为DatasetRow对象；

将所述待封装元数据、所述弹性分布式数据集结构化类型对象和所述DatasetRow对象封装在同一个数据对象中，得到供SQL语句查询的RDD对象。

4.根据权利要求2所述的数据处理方法，其特征在于，所述对所述配置数据进行封装，得到供SQL语句查询的简单实体Bean对象，包括：

根据预设的元数据名获取预先定义的配置数据的元数据；

根据所述元数据和预设的过滤条件，得到待封装元数据；

将所述元数据中指定的配置数据以所述待封装元数据为过滤条件转换为结构化数组；

将所述待封装元数据和所述结构化数组封装在同一个数据对象中，得到供SQL语句查询的Bean对象。

5.根据权利要求2所述的数据处理方法，其特征在于，所述基于所述数据处理框架提供的数据处理接口，对所述源数据和所述配置数据进行处理，并将处理后的数据保存为列式存储格式parquet文件，包括：

基于所述数据处理框架提供的数据处理接口，对所述RDD对象和所述Bean对象进行关联，得到RDD格式的关联对象；

将RDD格式的所述关联对象保存为列式存储格式parquet文件。

6.根据权利要求1所述的数据处理方法，其特征在于，在所述基于预定义的数据处理框架提供的任务分解类，按照所述时间粒度将所述时间区间划分为多个子区间，按照所述作业类型生成每个子区间对应的子任务之前，所述方法还包括：

检测所述时间粒度是否符合预设的时间粒度取值规则，所述时间粒度取值规则规定所述时间粒度为待处理数据的生成粒度的整数倍的整数倍；

若符合，则执行所述基于预定义的数据处理框架提供的任务分解类，按照所述时间粒度将所述时间区间划分为多个子区间，按照所述作业类型生成每个子区间对应的子任务的步骤；

否则，对所述时间粒度进行取整；

其中，所述基于预定义的数据处理框架提供的任务分解类，按照所述时间粒度将所述时间区间划分为多个子区间，按照所述作业类型生成每个子区间对应的子任务，包括：

基于预定义的数据处理框架提供的任务分解类，按照取整后的时间粒度将所述时间区间划分为多个子区间，按照所述作业类型生成每个子区间对应的子任务。