[发明专利]一种分布式节点的数据处理方法及网关设备

说明书

本发明实施例公开了一种分布式节点的数据处理方法，包括：当接收到客户端发送的数据聚合操作请求时，根据所述请求确定至少两个个待处理节点；根据所述数据聚合操作请求生成聚合操作指令，并向所有所述待处理节点发送所述数据聚合操作指令；当接收到所有所述待处理节点返回的聚合结果时，对所有所述聚合结果进行聚合处理获得聚合数据，并将所述聚合数据返回给所述客户端。本发明实施例还公开了一种网关设备。采用本发明，这使得网关设备可让每个节点对其存储的待聚合数据进行聚合处理，并将聚合结果返回给网关设备，网关设备再对各个节点返回的聚合结果进行最后的聚合，从而避免大量数据进行传输，有效节省资源，并提高传输效率。

技术领域

本发明涉及通信领域，尤其涉及一种分布式节点的数据处理方法及网关设备。

背景技术

数据库一般通过数据表来存储数据，但数据量不一定是可控的，随着时间和业务的发展，数据库中的数据表会越开越多，数据表中的数据量也会越来越大。另外，一台服务器的硬件资源也是有限的，最终数据库所能承载的数据量、数据处理能力都讲遭遇硬件资源的瓶颈，因此需进行分库分表。即是原本把存储于一个服务器的数据库的数据分块存储于多个服务器的多个数据数据库中，把原本存储于一个数据表中的数据分块存储到多个数据表，或多个服务器的数据库中，可称为节点。

但是，进行分库分表后，由于数据原本集中存储于一个数据表中或一个节点中，现在分布在多个数据表甚至多个节点中，故网关设备常需对来自多个节点的数据进行聚合汇总的操作。

而目前对数据进行聚合汇总的方案中，大多是采用网关从各个数据库获取所需聚合的数据，再在网关上根据聚合指令进行聚合的方案，但是，当网关是采用大量数据进行聚合时，网关与节点间需进行大量的数据传输，这不仅浪费了资源，也影响了其他数据的传输，造成传输效率过低。

发明内容

本发明实施例所要解决的技术问题在于，提供一种分布式节点的数据处理方法及设备。可这使得网关设备可让每个节点对其存储的待聚合数据进行聚合处理，并将聚合结果返回给网关设备，网关设备再对各个节点返回的聚合结果进行最后的聚合，从而避免大量数据进行传输，有效节省资源，并提高传输效率。为了解决上述技术问题，本发明实施例提供了一种分布式节点的数据处理方法，包括：

当接收到客户端发送的数据聚合操作请求时，根据所述请求确定至少两个个待处理节点，其中，所述待处理节点为需进行数据聚合的节点；

根据所述数据聚合操作请求生成聚合操作指令，并向所有所述待处理节点发送所述数据聚合操作指令，其中，所述数据聚合操作指令指示所述待处理节点获取所述聚合操作请求所请求的待聚合数据，并对所述待聚合数据进行聚合获得聚合结果的指令；

接收所有所述待处理节点返回的聚合结果，对所有所述聚合结果进行聚合处理获得聚合数据，并将所述聚合数据返回给所述客户端。

其中，所述数据聚合操作请求携带聚合函数；

所述根据所述数据聚合操作请求生成聚合操作指令包括：

根据所述数据聚合操作请求生成携带所述聚合函数的聚合操作指令。

其中，所述方法还包括：

当接收到与网关设备连接的节点发送的数据包时，判断是否需对所述数据包进行操作处理；

当确定不需对所述数据包进行操作处理时，将所述数据包进行传输处理。

其中，所述数据包包括所述聚合结果；

所述当接收到与网关设备连接的节点发送的数据包时，判断是否需对所述数据包进行操作处理包括：

当接收到任意一个所述待处理节点返回的所述聚合结果时，判断是否需对所述聚合结果进行操作处理；

所述当确定不需对所述数据包进行操作处理时，将所述数据包进行传输处理包括：