[发明专利]数据处理方法、客户端及分布式计算系统

说明书

本发明公开了一种数据处理方法、客户端及分布式计算系统，所述分布式系统包括若干客户端以及服务端，所述数据处理方法包括：客户端获取待处理数据；根据预设规则处理所述待处理数据以获取结果值，其中，所述预设规则为将所述待处理数据中数据类型相同和/或键值相同的数据在本地进行计算；将在本地执行计算后的待处理数据的结果值发送至服务端待处理数据本发明能够降低分布式计算系统的运算负荷，减少需消耗的cpu，内存等资源，而且可以压缩数据节约传输数据时的带宽，同时还能保证批量执行命令时数据的准确性。

技术领域

本发明实施例涉及互联网技术领域，尤其涉及一种数据处理方法、客户端及分布式计算系统。

背景技术

互联网产业的迅速发展在带来数据规模爆炸式增长的同时，也使大数据呈现出越发鲜明的流式特征，传统的批处理模式难以满足流式大数据处理对于计算实时性的要求，因此，更为高效的分布式计算系统得到了越来越广泛的应用。

在流式计算的业务处理过程中，系统使用redis进行数据的计算，并将数据暂存在redis(高性能的key-value数据库，即键-值数据库)。根据业务需求，在计算过程中，海量的数据必定会产生大量的redis命令。为了节约带宽，减少等待时间等，在流式计算中，客户端只能使用批量发送命令到redis服务器进行处理。在这个过程中，可能会因为网络等其他原因，导致命令执行的先后顺序发生改变，这就可能导致结果数据的不准确，并引起某些不可预见的错误。

而且，对于大量数据的传输，流式计算中的传输过程需要消耗大量的带宽、cpu等服务器资源。

发明内容

本发明要解决的技术问题是为了克服现有技术中分布式计算系统运行时消耗系统资源太多且容易出现错误的缺陷，提供一种减少需消耗的cpu，内存等资源，而且可以压缩数据节约传输数据时的带宽，同时还能保证批量执行命令时数据的准确性的数据处理方法、客户端及分布式计算系统。

本发明是通过下述技术方案来解决上述技术问题：

一种数据处理方法，用于分布式计算系统，其特点在于，所述数据处理方法包括：

客户端获取待处理数据；

根据预设规则处理所述待处理数据以获取结果值，其中，所述预设规则为将所述待处理数据中数据类型相同和/或键值相同的数据在本地进行计算；

将在本地执行计算后的待处理数据的结果值发送至服务端待处理数据。

现有的redis命令处理方案存在两个弊端：

1、未采取措施控制命令数量，客户端会发送大量的redis待处理数据到redis服务器，这个过程消需要消耗大量的带宽等其他服务器资源；

2、未采取措施控制命令执行的先后顺序。当命令批量发送到redis服务器时，由于网络等其他原因可能引起命令执行的先后顺序发生改变，从而导致结果数据的不准确。如：先执行一个set的命令，再执行add的命令。若顺序改变，则结果数据不准确。

本发明将待处理数据中可以在本地计算的数据，在发送至服务端之前预先处理，减少服务端处理数据所需要占用的资源，达到一种分布式的数据处理模式。

待处理数据中的有些数据在执行时有一定的顺序，或者根据数据的类型可以做进一步的运算，也就是在本地客户端替远程服务端做一部分数据处理来环节服务端的压力。举例来说，当用户将一个选项的内容替换为新内容，那么用户的操作过程为先删除原内容，然后添加新内容，上述操作形成待处理数据后会记录一个用户的操作过程，但经过计算后就是将选项的值填写为所述新内容，中间的操作过程都会被简化省去。

一项键值项中包括数据类型、键值及键值对应的数值。本发明对数据类型相同或键值相同的待处理数据进行本地简化，缩减数据大小提高数据传输的准确性。