[发明专利]一种分布式计算系统

说明书

本发明提供一种分布式计算系统，包括：节点和数据存储模块；其中，所述节点包括节点内存，所述节点内存用于保存数据，且保存的数据中包括实时数据；数据存储模块，用于存储包括所述节点内存中存储的数据在内的所有数据；所述节点，用于接收数据分析请求，并从所述节点内存和/或所述数据存储模块中获取与所述数据分析请求对应的数据以进行处理。由于节点内存中保存有实时数据，因此在处理数据分析请求时，如果需要获取的数据包括实时数据时，不需要去数据存储模块中实时读取，因此可以大大提升针对实时数据的处理效率，进而提升系统整体性能。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种分布式计算系统。

背景技术

随着大数据技术的慢慢普及，通过数据分析来挖掘数据价值已经被越来越多的公司重视，但在面对大量的数据的时候，想要快速的分析出结果并不是一件简单的事情，目前的可行方案中，主要有如下三种：1.直接读取分布式文件系统中的文件数据，然后进行分布式计算；2.每隔一段时间将所有的数据都缓存在内存中；3.将指定时间间隔的数据缓存在内存中，然后通过一些机制确保缓存的数据的时间跨度不变。

但是，上述三种方案都具有各自的局限性：

第1种方案中，如果每次分析计算的时候都直接读取分布式文件系统中的文件数据，会导致过多的IO(输入/输出)读写，因此分析计算的效率会很低。

第2种方案中，由于缓存的机制是每隔一段时间缓存一遍，因此实时数据并不会包含在里面，当出现大量的请求的分析时间段包括该数据时，需要去实时读取，因此会出现效率下降的问题。

第3种方案中，也会出现当大量的请求的分析时间段的数据不存在内存中的时候，需要去实时的读取，如果需要读取的数据量较大，分析的效率就会明显降低。

发明内容

有鉴于此，本发明提供一种分布式计算系统，用于解决目前的大数据分析方案容易出现效率低下的问题。

为解决上述技术问题，本发明提供一种分布式计算系统，包括：节点和数据存储模块；其中，

所述节点包括节点内存，所述节点内存用于保存数据，且保存的数据中包括实时数据；

数据存储模块，用于存储包括所述节点内存中存储的数据在内的所有数据；

所述节点，用于接收数据分析请求，并从所述节点内存和/或所述数据存储模块中获取与所述数据分析请求对应的数据以进行处理。

优选的，所述节点包括主节点和计算节点；其中，

所述主节点，用于接收所有的数据分析请求，并将接收的所述数据分析请求分发到所述计算节点，整合所述计算节点的处理结果；

计算节点，用于处理所述主节点分发的请求，并将处理结果发送给所述主节点。

优选的，所述计算节点还包括存储单元，与所述节点内存配合，以通过LRU算法使得热点数据能够存储于所述节点内存中。

优选的，所述主节点至少为两个，

还包括：负载均衡模块，用于均衡各个所述主节点处理的请求。

优选的，还包括：

集群管理模块，用于当计算节点出现宕机时，移除该计算节点对应的服务，并将该计算节点的数据分发到其它计算节点；当增加计算节点时，增加与该计算节点对应的服务，并重新均衡各个计算节点的数据；当删除计算节点时，删除与该计算节点对应的服务，并重新均衡各个计算节点的数据。

优选的，所述计算节点，用于以多线程的方式处理所述主节点分发的请求。