[发明专利]时间序列数据处理方法、装置、设备及存储介质

说明书

本发明提供一种时间序列数据处理方法、装置、设备及存储介质，用于解决分布式服务集群网络中缓存冗余度高、服务性能低的技术问题。当服务接收到查询请求时，计算获得查询请求对应的关键值，基于关键值与服务集群中服务的映射关系，将查询请求转发对应的服务进行处理。服务基于关键值判断是否命中缓存，未命中则从后台存储服务查询并缓存结果数据，若前后两次查询请求的关键值相同且偏差时段在复用间隔内，则完全复用缓存的结果数据，若偏差时段大于复用间隔则补齐并缓存缺失聚合间隔对应的结果数据同时还需删除前面不符合当前时间条件的结果数据。本发明可提高分布式服务的稳定性和处理性能。

技术领域

本发明涉及计算机及通信技术领域，尤其涉及一种时间序列数据处理方法、装置、设备及存储介质。

背景技术

在软件开发中，将需经过一系列处理才能获取的数据暂时放在内存中以便用户在快速获取的方式成为数据缓存，数据缓存有利于提高数据提取效率，提高服务执行和响应速度。

数据缓存通常使用键值对即key-value的模式，但是对于时间序列这种类型的数据，该种模式效率较为低下，因为这种模式没有考虑时间序列数据按照时间排列的特性，容易造成缓存数据冗余、命中率低、后台数据存储服务压力巨大等缺陷。例如，对分布式服务器集群系统中的服务器进行服务器监控的系统中，如果查看近一天的系统负载，用户A在2022-5-12 19:08:28秒访问并缓存近一天数据a，用户B在2022-5-12 19:08:29秒访问并缓存近一天数据b，这两个缓存数据a与b的数据量不仅较大而且重合度极高，只有一秒的数据差距，甚至某些场景下仅仅相差一毫秒，如果每次都重复获取重叠数据，则会给缓存系统带来极大的压力。

发明内容

有鉴于此，本发明提供一种时间序列数据处理方法、装置、设备及存储介质，用于解决分布式服务缓存冗余度高、服务稳定性和处理性能低的技术问题的技术问题。

基于本发明实施例的一方面，本发明提供了一种时间序列数据处理方法，该方法应用于分布式服务集群中的服务中，该方法包括：

接收查询请求，根据查询请求携带的信息得到关键值，根据关键值与服务之间的映射关系将查询请求转发给所述关键值映射的目标服务进行处理；

在目标服务判定查询请求的时间条件类型为相对时段类型的情况下，若基于关键值判定命中本地缓存且当前查询请求的查询发起时间与缓存的结果数据的查询发起时间之间的偏差时段在复用间隔之内时(全复用命中)，复用本地缓存的结果数据。

进一步地，所述根据查询请求携带的信息得到关键值的方法为：

根据查询请求携带的信息提取特征信息；

使用所述特征信息基于预设的数据结构组装为所述关键值；

所述特征信息至少包括：时间条件类型、查询条件、聚合间隔，所述查询条件至少包括表信息、时间条件；所述时间条件类型包括固定时段类型和相对时段类型；所述聚合间隔用于对符合查询条件的时间序列数据进行等间隔的压缩。

进一步地，所述根据关键值与服务之间的映射关系将查询请求转发给所述关键值映射的目标服务的方法为：

使用哈希函数对关键值进行哈希获得哈希值，使用哈希值对服务集群中注册的服务数量取余后得到服务序号，基于服务序号将查询请求转发给服务序号对应的目标服务。

进一步地，所述方法还包括：

在目标服务判定查询请求的时间条件类型为相对时段类型的情况下，若基于关键值判定未命中本地缓存，则查询后台存储服务获取符合查询条件的结果数据并在本地缓存后返回结果数据；

所述结果数据存储在结果数据对象中，所述结果数据对象至少包括：关键值、结果数据、缓存失效时刻、缓存复用时间；所述缓存复用时间由查询请求的查询发起时间和复用间隔确定。