[发明专利]一种均衡系统资源和落盘实时性的方法及可读存储介质

说明书

本发明公开了一种均衡系统资源和落盘实时性的方法及可读存储介质，所述方法包括：S1：将不同数据均衡地分在不同的线程中，对IP流做hash后进行分配，并在各线程中分为若干个Block；S2：根据系统的内存和IO带宽设置每个线程总的刷新缓存值和线程每个Block的最大刷新缓存值，并在系统运行过程中，动态选择block进行刷新和调整block大小。通过本发明方法，使得在抖动的流量环境中，避免出现系统资源的峰值，在最少使用内存的情况下，尽量使CPU、IO比较平滑，同时保证数据落盘的实时性。本发明方法比现有的技术在抖动流量环境下的CPU和IO利用率更加的平稳，同时数据落盘的实时性也能得到保证，查询的延时也是可控的。

技术领域

本发明属于数据存储及检索技术领域，尤其涉及一种均衡系统资源和落盘实时性的方法及可读存储介质。

背景技术

在网络统计的工程中，经常需要在大数据量的环境下对IP产生的信息进行查询，查询的效率很大程度上取决于存储，存储就会涉及到CPU、IO、内存和查询实时性的均衡。

当前通用的技术方案：

当前很多的通用刷新方案，很多都是当缓存块达到一定的内存限制后进行整合落盘操作，一般是交给后台线程直接刷新数据到磁盘，或者进行一些合并的操作，从而使CPU和IO的负荷变大，系统资源CPU、IO和内存很容易出现峰值，从而影响系统的整体性能。

现有技术存在一个非常明显的缺点，在面对突发的大数据量的情况下，对内存的控制不够精细，不能动态的进行伸缩，会导致某个时间点系统资源CPU和IO出现严重的抖动。同时在小流量的情况下不能及时进行动态地收缩内存块，从而尽量均分地使空闲的CPU和IO进行工作，也就是尽量地使数据落盘，保证数据落盘实时性，同时也降低后续面对突然大流量时出现数据堆积，使CPU、IO的负载过大，影响系统吞吐量。

发明内容

本发明的目的在于，为克服现有技术缺陷，提供了一种均衡系统资源和落盘实时性的方法，通过本发明方法均衡了系统资源的使用，尽量减少了系统资源的峰值，同时保证了数据的落盘以提高查询的实时性。

本发明目的通过下述技术方案来实现：

一方面，本发明公开了一种均衡系统资源和落盘实时性的方法，所述方法包括如下步骤，S1：将不同数据均衡地分在不同的线程中，对IP流做hash后进行分配，并在各线程中分为若干个Block；S2：根据系统的内存和IO带宽设置每个线程总的刷新缓存值和线程每个Block的最大刷新缓存值，并在系统运行过程中，动态选择block进行刷新和调整block大小。

根据一个优选的实施方式，步骤S2中所述的系统设置有两个时间限制，分别为硬限制和软限制；当Block块达到时间硬限制时，使得Block数据落盘；当Block块达到时间软限制时，Block当前的缓存值达到Block设置的最大刷新缓存值的一半则进行刷新。

根据一个优选的实施方式，各线程还能够基于需求进行优先刷新线程下的Block块的标记设置。

根据一个优选的实施方式，当线程上设置有所述标记时，系统将在不超过每个线程总的刷新缓存值的条件下，选择当前线程中剩下的Block进行刷新。

根据一个优选的实施方式，当遇到热点流量，集中于热点线程上时，所述热点线程总的刷新缓存值和热点线程下的各个Block块刷新缓存值动态变大。

根据一个优选的实施方式，当热点流量趋于平稳时，所述热点线程的总的刷新缓存值和该线程下的各Block块刷新缓存值动态缩小。

另一方面，本发明中还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述均衡系统资源和落盘实时性的方法。