[发明专利]基于类结构化查询语句的数据处理方法和装置

说明书

本发明公开了基于类结构化查询语句的数据处理方法和装置，涉及计算机及技术领域。该方法的一具体实施方式包括：获取至少一个数据处理参数，并根据至少一个数据处理参数生成数据处理任务；将数据处理任务转化为类结构化查询语句；判断目标数据是否符合类结构化查询语句中的选择条件，若是，则将目标数据插入数据处理任务的关键字对应的有序集中。该实施方式提供一种基于类结构话查询语句的数据处理方法，不需要部署额外的运行环境，并且可以达到时间上无缝上线的效果，加强了数据处理的通用性，提高了数据处理的计算速度。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于类结构化查询语句的数据处理方法和装置。

背景技术

随着软硬件的飞速发展，新经济体逐渐的崛起，同时也促成了大数据实时计算的架构落地和应用，依托实时计算框架落地的各种人工智能技术也得到了迅猛发展。实时计算需要精准计算出截至到目前这个时刻向前N分钟、N小时或N天的时间段内的计算结果，或者当分钟、当小时、当天或当月的计算结果，所以选用的实时计算引擎起到关键性作用。

目前，比较常用的用于实时数据处理的开源的项目有storm(即，一种开源的分布式实时大数据处理框架)、spark streaming(即，一种实现高吞吐量的、具备容错机制的实时流数据处理框架)、flink(即，一种分布式大数据处理引擎)等。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：(1)storm、spark streaming和flink需要部署相应的环境才能够运行；(2)storm、spark streaming和flink的应用都是以软件程序包的形式提交到服务器上运行，如果程序有修改的话，就需要重新打包上传服务器，停掉老的程序，再运行新的程序，很难做到时间上无缝的上线；(3)storm、spark streaming和flink很难做成一套通用的程序，每次都要重新去开发代码实现；(4)storm需要缓存整个窗口的所有数据，窗口结束时一起计算，造成了计算的瓶颈、整体的吞吐较低，会造成数据不准；spark streaming是对流式数据进行批处理，难做到秒级甚至亚秒级的延迟。

发明内容

有鉴于此，本发明实施例提供一种基于类结构化查询语句的数据处理方法和装置，不需要部署额外的运行环境，并且可以达到时间上无缝上线的效果，加强了数据处理的通用性，提高了数据处理的计算速度。

为实现上述目的，根据本发明实施例的第一方面，提供了一种基于类结构化查询语句的数据处理方法。

本发明实施例的一种基于类结构化查询语句的数据处理方法，包括：获取至少一个数据处理参数，并根据所述至少一个数据处理参数生成数据处理任务；将所述数据处理任务转化为类结构化查询语句；判断目标数据是否符合所述类结构化查询语句中的选择条件，若是，则将所述目标数据插入所述数据处理任务的关键字对应的有序集中。

可选地，所述将所述目标数据插入所述数据处理任务的关键字对应的有序集中，包括：根据所述数据处理任务，从所述目标数据中选择第一存储数据和第二存储数据；确定所述数据处理任务的关键字，并将所述第一存储数据和所述第二存储数据插入所述关键字对应的有序集中。

可选地，在确定所述数据处理任务的关键字之前，所述方法还包括：获取所述数据处理任务的唯一标识，并确定所述至少一个数据处理参数中的任务维度参数；根据所述数据处理任务的唯一标识和所述任务维度参数，生成所述数据处理任务的关键字。

可选地，所述将所述第一存储数据和所述第二存储数据插入所述关键字对应的有序集中，包括：在所述至少一个数据处理参数中包括去重参数的情况下，判断所述关键字对应的有序集中是否包括所述第一存储数据，若是，则直接更新所述第二存储数据。