[发明专利]一种实时数据流聚合查询的实现方法

摘要

本发明提供了一种实时数据流聚合查询的实现方法，包括以下步骤：分析聚合查询语句，提取查询语句中的关键字段信息，并确定聚合算法；根据计算需求定义实时数据流的window宽度，从实时数据流中不断读取数据，按window宽度筛选出数据；对筛选出的数据，根据关键字段信息，计算得到第一数据集合和第二数据集合；通过scard算法将第一数据集合和第二数据集合进行聚合计算，并拼合成聚合结果集合；将聚合计算后的聚合结果集合存入关系型数据库或者分布式文档存储数据库中供应用系统调用。本发明采用redis集群作为计算中间结果存储介质，有效结合实时数据流window的概念，并充分利用redis高效的特性，实现了一套快速、准确、通用的实时大数据流的聚合方法。

主权项

一种实时数据流聚合查询的实现方法，其特征在于：包括以下步骤：步骤S1，分析聚合查询语句，提取查询语句中的关键字段信息，并确定聚合算法；步骤S2，根据计算需求定义实时数据流的window宽度，从实时数据流中不断读取数据，按window宽度筛选出数据；步骤S3，对筛选出的数据，根据关键字段信息，利用md5算法和sadd算法得到第一数据集合，同时利用md5算法、val函数、sadd算法得到第二数据集合；步骤S4，通过scard算法将第一数据集合和第二数据集合进行聚合计算，并拼合成聚合结果集合；步骤S5，将聚合计算后的聚合结果集合存入关系型数据库或者分布式文档存储数据库中供应用系统调用。