[发明专利]应对大流量数据的多级缓存方法

说明书

本发明公开了一种应对大流量数据的多级缓存方法，本方法初始化建立不同类型的缓存，并对终端用户分级，划分缓存类型；系统接收大流量缓存数据后进行路由处理，完成数据的分片和分级，产生数据版本标识和时间标记；按缓存数据类型存储到不同类型的缓存，复制缓存数据副本并更新到远程集中式数据缓存以及后台数据库；根据缓存数据版本标识和时间标记，对缓存数据进行存储、更新并清除失效缓存数据；缓存数据访问读取时，根据读取路由规则按照不同的数据分级方式，进行缓存数据的访问。本方法解决系统在高并发的访问情况下，高效分级存储大数据，提高大数据处理的及时性，提升系统流畅性和稳定性，同时极大降低服务器的存储成本以及流量费用。

技术领域

本发明涉及计算机技术领域，尤其涉及一种应对大流量数据的多级缓存方法。

背景技术

传统计算机系统中，数据存储大多为即时存储、即时落库的处理方式，比如系统接收到一条数据信息就直接处理并存储到后台数据库。单一使用数据库来保存数据的系统会因为面向磁盘，磁盘读/写速度比较慢的问题而存在严重的性能弊端，一瞬间成千上万的请求到来，需要系统在极短的时间内完成成千上万次的读/写操作，这个时候往往不是数据库能够承受的，极其容易造成数据库系统瘫痪，最终产生服务宕机的严重问题。

随着微服务技术的推广使用，部分系统会将接收的数据进行数据库存储后，再进行缓存存储，当用户访问请求后先读取缓存，如果缓存不存在该数据，则再读取数据库，这样可以减少访问的数据读取时间，降低数据库访问量，从而提升访问的流畅度。这种技术主要以分布式的高速缓存系统（Memcached）、基于内存的数据库存储系统（Redis）为主，但此类存储技术均为集中式缓存技术，在大流量访问的情况下，需要高频网络访问，随之带来了带宽瓶颈和网络延迟。

发明内容

本发明所要解决的技术问题是提供一种应对大流量数据的多级缓存方法，本方法解决系统在高并发的访问情况下，高效分级存储大数据，提高大数据处理的及时性，提升系统流畅性和稳定性，同时极大降低服务器的存储成本以及流量费用。

为解决上述技术问题，本发明应对大流量数据的多级缓存方法包括如下步骤：

步骤一、初始化建立不同类型的缓存，并根据终端用户的距离远近进行缓存等级分类，缓存类型包括APP客户端本地缓存、业务网关缓存、服务器单元节点本地缓存、远程集中式数据缓存；

步骤二、系统通过所提供的对外服务，接收外部提交的大流量缓存数据，大流量缓存数据包括数据基础信息和数据内容信息，其中，数据基础信息包括数据的终端APP标记、用户ID、IP、系统描述生成时间；

步骤三、将大流量缓存数据进行前置数据处理和后置数据处理，完成缓存数据的分片和分级，产生缓存数据版本标识和时间标记；

步骤四、根据缓存数据的分片和分级，若缓存数据涉及用户展示页面相关，存入APP客户端的本地内存缓存，若缓存数据涉及后台服务数据，则存储到相对应的应用服务器节点；

步骤五、经过路由处理后的缓存数据，复制一份缓存数据副本，异步提交到数据处理队列，更新到远程集中式数据缓存以及后台数据库；

步骤六、根据缓存数据版本标识和时间标记，对缓存数据进行定时存储处理、定时更新并清除失效缓存数据，检查不同级别缓存数据的一致性；

步骤七、当系统用户对缓存数据进行访问读取时，根据缓存数据的读取路由处理规则，按照不同的缓存数据分级方式，进行缓存数据的访问。

进一步，所述步骤一中，根据终端用户的距离远近进行缓存等级分类是根据数据从用户终端到服务器、再到后台数据库的上送和回传的传输距离远近，将平台的缓存数据分为用户APP客户端的一级缓存、业务网关的二级缓存、服务器单元节点本地三级缓存以及远程集中式数据缓存，用户终端的缓存数据根据一级缓存、二级缓存和三级缓存的顺序读取和存储。