[发明专利]基于类结构化查询语句的数据处理方法和装置

权利要求书

1.一种基于类结构化查询语句的数据处理方法，其特征在于，包括：

获取用户配置的至少一个数据处理参数，并根据所述至少一个数据处理参数生成实时数据处理任务，其中，所述数据处理参数包括：时间参数、执行参数、去重参数、任务维度参数和条件参数；

对原始数据集进行清洗，并对清洗后的原始数据集中的数据进行格式统一化处理，得到目标数据；

将所述实时数据处理任务转化为类结构化查询语句；判断目标数据是否符合所述类结构化查询语句中的选择条件，若是，则将所述目标数据插入所述实时数据处理任务的关键字对应的有序集中；

其中，所述将所述目标数据插入所述实时数据处理任务的关键字对应的有序集中，包括：根据所述实时数据处理任务，从所述目标数据中选择第一存储数据和第二存储数据；确定所述数据处理任务的关键字，并将所述第一存储数据和所述第二存储数据插入所述关键字对应的有序集中。

2.根据权利要求1所述的方法，其特征在于，在确定所述实时数据处理任务的关键字之前，所述方法还包括：

获取所述实时数据处理任务的唯一标识，并确定所述至少一个数据处理参数中的任务维度参数；

根据所述实时数据处理任务的唯一标识和所述任务维度参数，生成所述实时数据处理任务的关键字。

3.根据权利要求1所述的方法，其特征在于，所述将所述第一存储数据和所述第二存储数据插入所述关键字对应的有序集中，包括：

在所述至少一个数据处理参数中包括去重参数的情况下，判断所述关键字对应的有序集中是否包括所述第一存储数据，若是，则直接更新所述第二存储数据。

4.根据权利要求1所述的方法，其特征在于，在将所述目标数据插入所述实时数据处理任务的关键字对应的有序集中之前，所述方法还包括：

确定所述目标数据的目标时间，并根据所述至少一个数据处理参数中的时间参数和所述目标时间，判断所述实时数据处理任务的关键字对应的有序集中是否存在超期数据，若是，则将所述超期数据删除。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据数据查询请求，确定当前时间和所述至少一个数据处理参数中的时间参数，对所述第二存储数据进行过滤，并按照所述至少一个数据处理参数中的执行参数对经过过滤的第二存储数据进行处理，得到数据查询结果。

6.一种基于类结构化查询语句的数据处理装置，其特征在于，包括：

生成模块，用于获取用户配置的至少一个数据处理参数，并根据所述至少一个数据处理参数生成实时数据处理任务，其中，所述数据处理参数包括：时间参数、执行参数、去重参数、任务维度参数和条件参数；

转化模块，用于对原始数据集进行清洗，并对清洗后的原始数据集中的数据进行格式统一化处理，得到目标数据；

所述转化模块还用于：将所述实时数据处理任务转化为类结构化查询语句；

插入模块，用于判断目标数据是否符合所述类结构化查询语句中的选择条件，若是，则将所述目标数据插入所述实时数据处理任务的关键字对应的有序集中；

所述插入模块还用于：

根据所述实时数据处理任务，从所述目标数据中选择第一存储数据和第二存储数据；

确定所述实时数据处理任务的关键字，并将所述第一存储数据和所述第二存储数据插入所述关键字对应的有序集中。

7.根据权利要求6所述的装置，其特征在于，所述插入模块还用于：

获取所述实时数据处理任务的唯一标识，并确定所述至少一个数据处理参数中的任务维度参数；

根据所述实时数据处理任务的唯一标识和所述任务维度参数，生成所述实时数据处理任务的关键字。

8.根据权利要求6所述的装置，其特征在于，所述插入模块还用于：

在所述至少一个数据处理参数中包括去重参数的情况下，判断所述关键字对应的有序集中是否包括所述第一存储数据，若是，则直接更新所述第二存储数据。