[发明专利]并发量控制方法、装置及系统

说明书

本申请涉及一种并发量控制方法、装置及系统，并发量控制方法包括获取并发量；根据并发量动态调节格点区域锁的范围，以提高数据读取和数据写入效率。本申请可以使系统在高并发量的环境下，也能根据访问量和写入量动态调节格点区域锁，安全高效的完成数据读写任务。

技术领域

本申请涉及数据处理技术领域，尤其是一种并发量控制方法、装置及系统。

背景技术

近年来，互联网科技蓬勃发展，在大数据驱动的今天，数据已经成为了互联网的核心模块。与此同时，统计学习和深度学习等等基于数据量的技术手段也层出不穷。随着数据量的不断增加，针对于数据写入和访问的缓存服务系统也逐渐壮大，但这些缓存设备都有一个共同的矛盾点即：提高访问效率时缓存的写入效率就会降低，相反，如果提高缓存的写入效率就会导致访问效率降低。内存设备中一块内存段，高并发的情况下，每块内存格点相互独立。如果不加限制和制约会导致缓存设备中存入脏数据，脏数据(Dirty Read)是指源系统中的数据不在给定的范围内或对于实际业务毫无意义，或是数据格式非法，以及在源系统中存在不规范的编码和含糊的业务逻辑，导致系统崩溃，尤其在气象预报系统中，从传统的站点预报向格点预报变革后，我国气象预报服务基于“一张网”网格数据源，网空间分辨率达到5公里*5公里，以提供基于位置的精细化服务。

因此，为平衡天气预报系统中缓存设备的矛盾点，协调天气数据缓存写入和访问之间的关系，在创建缓存时需要对缓存格点进行控制与改进。例如，通过单任务读写方式，让缓存设备每次只能读写一个缓存格点，从而解决读写冲突问题，但在高并发任务情况下，会严重影响访问效率。相关技术中，创建基于锁定部分缓存格点的高并发缓存设备，来解决读写冲突问题，但在访问量和写入量不断变化的情况下，无法精准的保持每一时刻缓存中访问和写入的平衡关系，以使缓存读、写效率降低。

发明内容

为至少在一定程度上克服缓存写入和访问之间的矛盾，解决读写冲突问题，以及在访问量和写入量不断变化的情况下，使缓存中访问和写入的持续保持平衡关系的问题，本申请提供一种并发量控制方法、装置及系统。

第一方面，本申请提供一种并发量控制方法，包括：

获取并发量；

根据所述并发量动态调节格点区域锁的范围，以提高数据读取和数据写入效率。

进一步，所述获取并发量为获取并发读取量，所述根据所述并发量动态调节格点区域锁的范围包括：

当所述并发读取量上升时缩小所述格点区域锁的范围，当所述并发读取量下降时扩大所述格点区域锁的范围。

进一步，所述方法还包括：

根据所述并发读取量依据预设公式计算所述格点区域锁的范围。

进一步，所述计算所述格点区域锁的范围前，还包括：

获取格点区域锁的最大范围和格点数量，所述格点区域锁的最大范围包括所述所有格点。

进一步，所述预设公式包括：

格点区域锁范围其中α为格点区域锁的最大范围，β为格点数量，u为并发量变换系数，x为并发读取量。

第二方面，本申请提供一种并发量控制装置，包括：

第一获取模块，用于获取读取量；

并发量调节模块，用于根据所述并发量动态调节格点区域锁的范围，以提高数据读取和数据写入效率。

进一步的，所述装置还包括：

并发读取量调节模块，用于所述获取并发量为获取并发读取量时，当所述并发读取量上升时缩小所述格点区域锁的范围，当所述并发读取量下降时扩大所述格点区域锁的范围。

进一步的，所述装置还包括：