[发明专利]数据处理和查询方法及装置

说明书

技术领域

本发明属于数据处理领域，尤其涉及一种数据处理和查询方法及装置。

背景技术

在实时流数据落地存储的过程中，首先需要将一个时间间隔内产生的流数据需要进行一次局部合并，生成一个局部数据，然后将读取前面的累加数据，当前的流数据对应的局部数据与前面的累积数据再次进行累加，直到得到最后的累加数据。比如统计一分钟的销售额，可以每隔6秒算一个6s的销售总额，6s对应的销售总额就是一个局部数据，当到达第2次6s时，需要把第一次的6s对应的局部数据从落地的存储端中读取出来后，与第2个6s的局部数据进行累加。现有的实时流数据落地方法，整个落地过程需要内存对流数据的局部数据进行实时累积，计算压力较大，而且需要先读取一次数据再落地一次数据，耗费时间较长。

为了解决上述问题，现有技术中提出了一种多版本并发控制(Multi-Version Concurrency Control，简称MVCC)方案，在该方案中将每一个时间间隔内的流数据进行局部合并，生成一个局部数据，将该局部数据落地到存储端，例如，需要查询一天24小时内的销售总额时，从00：00开始每隔6s进行一个局部合并，得到一个局部数据，在到达设定的24：00时，这24小时内生成的所有局部数据个数为14400，而针对海量或者较长时间的流数据处理时，由于MVCC方案中的存储端中会存储了所有时间间隔对应的局部数据，导致存储端的存储压力较大。

发明内容

本发明提供一种数据处理和查询方法及装置，用于解决现有通过MVCC方案进行流数据落地时由于存储端存储所有的局部数据，存储压力较大的问题。

为了实现上述目的，本发明提供了一种数据处理方法，包括：

对实时流数据进行局部合并，得到至少一个局部数据；

将所述局部数据进行缓存；

在满足预设的汇总条件时，对当前缓存的数据进行汇总，以得到汇总数据；其中所述当前缓存的数据至少包括所述局部数据。

为了实现上述目的，本发明提供了一种数据查询方法，包括：

接收客户端发送的查询请求；

查询接收到所述查询请求时的汇总数据以及局部数据；其中，所述汇总数据为在满足预设的汇总条件时，对当前缓存的数据进行汇总得到的数据，所述局部数据为对实时流数据进行局部合并得到的数据；

将接收到所述查询请求时的汇总数据以及局部数据进行聚合，以得到聚合数据；

将所述聚合数据发送给所述客户端。

为了实现上述目的，本发明提供了一种数据查询方法，包括：

接收客户端发送的查询请求；

查询接收到所述查询请求时的汇总数据以及局部数据；其中，所述汇总数据为在满足预设的汇总条件时，对当前缓存的数据进行汇总得到的数据，所述局部数据为对实时流数据进行局部合并得到的数据；

将接收到所述查询请求时的汇总数据以及局部数据发送给所述客户端。

为了实现上述目的，本发明提供了一种数据查询方法，包括：

向存储端发送查询请求，以使所述存储端根据所述查询请求查询接收到所述查询请求时的汇总数据以及局部数据；其中，所述汇总数据为在满足预设的汇总条件时，对当前缓存的数据进行汇总得到的数据，所述局部数据为对实时流数据进行局部合并得到的数据；

接收所述存储端发送的所述汇总数据以及所述局部数据；

将所述汇总数据以及所述局部数据进行聚合得到聚合数据。

为了实现上述目的，本发明提供了一种数据处理装置，包括：

局部合并模块，用于对实时流数据进行局部合并，得到至少一个局部数据；

缓存模块，用于将所述局部数据进行缓存；

汇总模块，用于在满足预设的汇总条件时，对当前缓存的数据进行汇总，以得到汇总数据；其中所述当前缓存的数据至少包括所述局部数据。

为了实现上述目的，本发明提供了一种数据查询装置，包括：

接收模块，用于接收客户端发送的查询请求；

查询模块，用于查询接收到所述查询请求时的汇总数据以及局部数据；其中，所述汇总数据为在满足预设的汇总条件时，对当前缓存的数据进行汇总得到的数据，所述局部数据为对实时流数据进行局部合并得到的数据；

聚合模块，用于将接收到所述查询请求时的汇总数据以及局部数据进行聚合，以得到聚合数据；

发送模块，用于将所述聚合数据发送给所述客户端。

为了实现上述目的，本发明提供了一种数据查询装置，包括：