[发明专利]数据降采样和数据查询方法、系统及存储介质

权利要求书

1.一种数据降采样方法，其特征在于，包括：

将获取的原始数据写入内存；

在所述内存中的原始数据达到设定的数据量的情况下，将内存中的原始数据写入第一持久性存储介质；

在所述原始数据写入第一持久性存储介质的过程中，根据预设的降采样规则，对写入所述第一持久性存储介质的目标原始数据进行降采样处理，以得到降采样数据；

将所述降采样数据写入第二持久性存储介质。

2.根据权利要求1所述的方法，其特征在于，所述根据预设的降采样规则，对写入所述第一持久性存储介质的目标原始数据进行降采样处理，包括：

按照所述目标原始数据的字段名，将所述目标原始数据划分为至少一个数据单元；

根据预设的降采样规则，对所述至少一个数据单元分别将进行降采样处理，以得到所述降采样数据。

3.根据权利要求2所述的方法，其特征在于，所述根据预设的降采样规则，对所述至少一个数据单元分别将进行降采样处理，包括：

从所述预设的降采样规则中，获取采样时间间隔和聚合算子；

针对任一数据单元，从所述任一数据单元中，获取每个采样时间间隔内的目标原始数据；

按照所述聚合算子，对所述每个采样时间间隔内的目标原始数据进行聚合处理，以得到所述任一数据单元对应的降采样数据。

4.根据权利要求2所述的方法，其特征在于，所述将所述降采样数据写入第二持久性存储介质，包括：

针对任一数据单元对应的降采样数据，根据所述降采样规则和所述任一数据单元的字段名，确定用于表征所述降采样规则和降采样对象的目标字段名；

以所述目标字段名为字段名，以所述任一数据单元的降采样数据为目标字段名的字段值，将所述目标字段名和所述任一数据单元对应的降采样数据写入所述第二持久性存储介质。

5.根据权利要求1-4任一项所述的方法，其特征在于，采用层级组织结构存储降采样数据对应的降采样文件；所述方法还包括：

针对任意两个相邻层级，在下层级中的降采样文件的数量达到所述下层级对应的阈值M的情况下，对M个降采样文件进行合并处理；

将合并后的降采样文件存储至所述下层级的上一层级；其中，M为设定阈值，M≥2，且M为整数。

6.根据权利要求5所述的方法，其特征在于，所述对M个降采样文件进行合并处理，包括：

针对M个降采样文件存在重叠时间窗口的情况，根据所述降采样规则中的聚合算子，对所述重叠时间窗口对应的降采样处理结果进行聚合操作；

将聚合后的M个降采样文件合并为一个降采样文件。

7.根据权利要求5所述的方法，其特征在于，还包括：

针对所述第一持久性存储介质中的原始数据存在数据删除的情况，对删除的原始数据进行标记，以得到墓碑记录；

根据所述墓碑记录中数据的时间信息和所述降采样文件中数据的时间信息，确定所述墓碑记录对应的降采样文件；

在所述墓碑记录对应的降采样文件合并过程中，从所述墓碑记录对应的降采样文件中确定所述墓碑记录对应的降采样数据；

删除所述墓碑记录对应的降采样数据。

8.根据权利要求1-4任一项所述的方法，其特征在于，还包括：

获取查询请求；所述查询请求用于聚合查询；

根据所述查询请求，查询所述内存和所述第二持久性存储介质；

针对所述内存中存在满足所述查询请求的数据的情况，从所述内存和所述第二持久性存储介质中分别获取满足所述查询请求的第一原始数据和第一降采样数据；

根据所述查询请求，对所述第一原始数据进行降采样处理，以得到第二降采样数据；

基于所述第一降采样数据和所述第二降采样数据，确定所述查询请求的查询结果。