[发明专利]时序数据处理方法、装置、系统、服务器及可读存储介质

说明书

本发明公开一种时序数据处理方法、装置、系统、服务器及可读存储介质。所述方法包括：接收多个设备发送的多条待处理数据，所述多条待处理数据分别包括所述多个设备采集的时序数据以及所述多个设备的标识码；根据对所述多个设备的分组结果，将所述多条待处理数据分别导入相应的任务队列中进行依序处理，对应获得多条结果数据；以及将所述结果数据依序存储至第一缓存队列中。根据本发明提供的时序数据处理方法，基于设备的分组结果，能够并行地实现大批量数据的高性能时序处理，发挥多核运算的优势。同时，单机即可处理上万个设备的数据处理，避免搭建复杂的计算机群，显著降低了部署成本。

技术领域

本发明涉及数据处理领域，具体而言，涉及一种时序数据处理方法、装置、系统、服务器及可读存储介质。

背景技术

随着物联网技术的发展，物联网数据的处理量和处理难度越来越大。当前，物联网领域常用的数据处理方法主要分为以下两类：

第一类：基于Hadoop、Spark、Storm等典型流/批处理框架的大数据集群计算方法，主要适用于海量数据的高速处理，具有高并行、高吞吐量等优点，可支持成千上万台物联网设备的数据处理。但同时，大数据集群处理框架对自身运行所需的资源要求较高。根据规模效应，只有当集群达到一定的规模才能发挥出其性能优势，比如集群框架一般需要至少三台服务器才能搭建。这样的架构部署难度大，实现复杂且成本较高；

第二类：通过编程实现的简单数据处理方法，主要适用于家用或设备规模较小等场景，可支持的设备规模在数百台以内。由于设计基础简单，一般的程序设计很难达到既保证时序性，又保证高性能的数据处理目的，因此通常仅适用于处理非时序敏感数据的场景。

时序敏感是指在数据处理工程中，处理当前时刻监测到的数据必须依赖于上一时刻的数据处理结果，也即上一时刻监测到的数据必须在当前时刻监测到的数据之前处理完成。在现有的多线程模型中，两条数据有可能会被分配给不同的处理线程，因此往往会出现当前时刻监测到的数据会比上一时刻监测到的数据先处理的情况，进而导致完全错误的处理结果。例如，在冷链物流业务中使用温度传感器实时监测货车车厢内的温度，当温度不低于20℃时需要发送预警提示，但当温度连续不低于20℃时只需发送一次预警提示：假设连续5个时刻监测到的温度为17℃、19℃、20℃、19℃、21℃，按照前述业务规则，正常情况下将在第3、第5时刻各触发一次预警提示。然而，当不能确保数据按时间顺序有序处理时，例如第4时刻的数据比第3时刻的数据先处理，则仅在处理第3时刻数据(20℃)时触发一次预警提示，从而导致运输人员延迟发觉车厢温控系统的失灵。

串行化可以确保实现数据的有序处理，但势必无法发挥多核运算的优势，造成较大的资源浪费。此外，现有的专用时序数据库一般也只是侧重于存储时序数据并提供数据查询服务，并不能直接完成前述的逻辑处理。

在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种时序数据处理方法、装置、系统、服务器及可读存储介质。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的一方面，提供一种时序数据处理方法，包括：接收多个设备发送的多条待处理数据，所述多条待处理数据分别包括所述多个设备采集的时序数据以及所述多个设备的标识码；根据对所述多个设备的分组结果，将所述多条待处理数据分别导入相应的任务队列中进行依序处理，对应获得多条结果数据；以及将所述结果数据依序存储至第一缓存队列中。

根据本发明的一实施方式，所述分组结果根据下述步骤获得：将所述标识码输入预构造的哈希函数，以所述哈希函数的输出结果作为所述标识码对应设备的所述分组结果。