[发明专利]数据处理方法、装置、分发服务器、系统及存储介质

说明书

本发明实施例公开了一种数据处理方法、装置、分发服务器、系统及存储介质。该方法包括：获取实体设备的上报数据，并确定与所述上报数据关联的规则；按照设定分发策略将所述上报数据以及所述规则以组合的形式分发至主题分区，其中，每个所述组合包括一个实体设备的上报数据与所关联的单个规则，每个所述主题分区对应一个执行服务器，所述执行服务器用于处理对应所述主题分区中的上报数据以及规则。上述技术方案通过将上报数据按照实体设备和规则两个维度分发至不同的主题分区，将规则的处理压力分给各执行服务器，解决了数据倾斜、单个服务器的负载压力过大带来的业务不稳定问题。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、分发服务器、系统及存储介质。

背景技术

在物联网中常见的一种业务场景：设备上报数据到云端，云端将数据分发给多台服务器；上报的数据匹配大量的规则，对于一台服务器，计算其分发到的数据是否满足相关规则中的条件，如果满足则执行相关规则中指定的操作。在上述过程中，不同设备上报的数据对应不同的分区，为了保证各设备上报数据的顺序处理，云端需要通过特定分区算法将数据分发到特定的分区上。

由于每个设备上报数据的频率不同，比如移动侦测设备可能一直在运行状态，只要一直有移动物体存在会一直向云端上报设备当前数据，也就是说一些设备作为热点设备，其频繁上报数据会导致数据倾斜，即某个分区的消息较多，这些分区被分配给某台服务器之后，会导致这台服务器处理规则的时候占用更高的计算资源、负载过重，而其他的服务器资源消耗较低、负载较轻，严重时会影响到这台服务器的正常运行。在大规模服务器集群部署的情况下，这种数据倾斜导致业务不稳定的问题更加明显。

发明内容

本发明提供了一种数据处理方法、装置、分发服务器、系统及存储介质，以实现合理分发上报数据及规则，平衡执行服务器处理规则的压力，进而提高业务稳定性。

根据本发明实施例的一方面，提供了一种数据处理方法，包括：

获取实体设备的上报数据，并确定与所述上报数据关联的规则；

按照设定分发策略将所述上报数据以及所述规则以组合的形式分发至主题分区，其中，每个所述组合包括一个实体设备的上报数据与所关联的单个规则，每个所述主题分区对应一个执行服务器，所述执行服务器用于处理对应所述主题分区中的上报数据以及规则。

根据本发明实施例的另一方面，提供了一种数据处理装置，包括：

获取模块，设置为获取实体设备的上报数据，并确定与所述上报数据关联的规则；

分发模块，设置为按照设定分发策略将所述上报数据以及所述规则以组合的形式分发至主题分区，其中，每个所述组合包括一个实体设备的上报数据与所关联的单个规则，每个所述主题分区对应一个执行服务器，所述执行服务器用于处理对应所述主题分区中的上报数据以及规则。

根据本发明实施例的另一方面，提供了一种分发服务器，所述分发服务器包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的数据处理方法。

根据本发明实施例的另一方面，提供了一种数据处理系统，其特征在于，包括：实体设备、执行服务器以及本发明任一实施例所述的分发服务器；

所述实体设备用于向所述分发服务器发送上报数据；

所述执行服务器用于处理分发至相应的主题分区的上报数据以及规则。