[发明专利]一种数据处理方法及电子设备

说明书

本申请实施例提供了一种数据处理方法及电子设备，其中所述数据处理方法包括：获得第一时序数据行集；获得所述第一时序数据行集中各时序数据行的统计信息，所述统计信息至少包括时序数据行的特征信息；根据第一规则过滤所述统计信息得到匹配的第二时序数据行集；获得所述第二时序数据行集中的各行数据；根据第二规则过滤所述第二时序数据行集中的各行数据得到满足输入要求的第三时序数据行的各行数据。本申请实施例的数据处理方法能够减少时序数据库在根据客户端要求筛选数据时的数据处理负荷，提高响应速度。

技术领域

本申请实施例涉及智能设备领域，特别涉及一种数据处理方法及电子设备。

背景技术

现有的时序数据库在设计上或者不支持基于数据值进行条件查询(仅支持基于时间、指标、标签查询的方式)；或者支持，但性能不佳。例如，对于Hbase时序数据库，其在进行数据值条件查询数据时一般方案是将满足日期条件的指定时序数据全部从HBase存储端输出至在TSDB Server上的内存中进行值过滤，最终输出过滤结果。但这种过滤方案虽然能够达到值条件查询的效果，可由于其没有将过滤操作下沉到Hbase存储端进行，因此导致Hbase每次进行值条件查询时都是全量数据查询，使得Hbase以及TSDB Server的数据处理压力非常大，效率较低，不能满足用户希望快速查询的技术效果。

申请内容

本申请实施例提供了一种能够减少时序数据库在根据客户端要求筛选数据时的数据处理负荷，提高响应速度的数据处理方法及电子设备。

为了解决上述技术问题，本申请实施例提供了一种数据处理方法，其中，包括：

获得第一时序数据行集；

获得所述第一时序数据行集中各时序数据行的统计信息，所述统计信息至少包括时序数据行的特征信息；

根据第一规则过滤所述统计信息得到匹配的第二时序数据行集；

获得所述第二时序数据行集中的各行数据；

根据第二规则过滤所述第二时序数据行集中的各行数据得到满足输入要求的第三时序数据行的各行数据。

作为优选，所述获得第一时序数据行集包括：

根据输入指令从时序数据库中获得满足条件的第一时序数据行集。

作为优选，还包括：

对时序数据库中的各时序数据行进行特征统计；

匹配存储对应的统计数据和用于代表时序数据行的第一标识数据。

作为优选，所述对时序数据库中的各时序数据行进行特征统计包括：

在对时序数据行压缩的同时创建时序数据行的特征统计信息。

作为优选，所述匹配存储对应的统计数据和用于代表时序数据行的第一标识数据包括：

将所述特征统计信息单独存储，同时与所述第一标识数据关联；

其中，所述时序数据行的特征统计信息的第二标识数据与所述第一标识数据相同。

作为优选，所述根据第一规则过滤所述统计信息得到匹配地第二时序数据行集包括：

根据所述第一规则过滤所述统计信息得到匹配地所述第二标识数据集；

基于所述第二标识数据集获得所述第一标识数据集；

基于所述第一标识数据集获得所述第二时序数据行集。

本发明实施例同时提供一种电子设备，包括：

获取装置，其用于获得第一时序数据行集，以及获得所述第一时序数据行集中各时序数据行的统计信息，所述统计信息至少包括时序数据行的特征信息；