[发明专利]应对大流量数据的多级缓存方法

权利要求书

1.一种应对大流量数据的多级缓存方法，其特征在于：本方法包括如下步骤，

步骤一、初始化建立不同类型的缓存，并根据终端用户的距离远近进行缓存等级分类，缓存类型包括APP客户端本地缓存、业务网关缓存、服务器单元节点本地缓存、远程集中式数据缓存；

步骤二、系统通过所提供的对外服务，接收外部提交的大流量缓存数据，大流量缓存数据包括数据基础信息和数据内容信息，其中，数据基础信息包括数据的终端APP标记、用户ID、IP、系统描述生成时间；

步骤三、将大流量缓存数据进行前置数据处理和后置数据处理，完成缓存数据的分片和分级，产生缓存数据版本标识和时间标记；

步骤四、根据缓存数据的分片和分级，若缓存数据涉及用户展示页面相关，存入APP客户端的本地内存缓存，若缓存数据涉及后台服务数据，则存储到相对应的应用服务器节点；

步骤五、经过路由处理后的缓存数据，复制一份缓存数据副本，异步提交到数据处理队列，更新到远程集中式数据缓存以及后台数据库；

步骤六、根据缓存数据版本标识和时间标记，对缓存数据进行定时存储处理、定时更新并清除失效缓存数据，检查不同级别缓存数据的一致性；

步骤七、当系统用户对缓存数据进行访问读取时，根据缓存数据的读取路由处理规则，按照不同的缓存数据分级方式，进行缓存数据的访问。

2.根据权利要求1所述的应对大流量数据的多级缓存方法，其特征在于：所述步骤一中，根据终端用户的距离远近进行缓存等级分类是根据数据从用户终端到服务器、再到后台数据库的上送和回传的传输距离远近，将平台的缓存数据分为用户APP客户端的一级缓存、业务网关的二级缓存、服务器单元节点本地三级缓存以及远程集中式数据缓存，用户终端的缓存数据根据一级缓存、二级缓存和三级缓存的顺序读取和存储。

3.根据权利要求1所述的应对大流量数据的多级缓存方法，其特征在于：所述步骤三中，前置数据处理的规则是将缓存数据按照终端APP标记、用户ID、区域位置、数据时间标记进行基础分类，创建对应处理作业；

缓存数据分级规则是解析流量缓存数据里的系统描述信息，根据系统进行重要性分级；

缓存数据分片规则是将缓存数据根据终端APP标记、用户ID、区域位置信息进行Hash，然后取模，形成数据片，经过分片后的缓存数据，形成分片缓存数据信息、缓存数据版本标识和时间标记的基本缓存数据结构；

后置数据处理规则是缓存数据分片处理完成后，为保证缓存数据的有效性，根据缓存数据重要性分级进行异步存储处理，缓存数据重要性决定了缓存数据异步存储的先后顺序，重要性高的优先存储，并上送到远程集中式数据缓存。

4.根据权利要求3所述的应对大流量数据的多级缓存方法，其特征在于：所述数据时间标记按数据流量大小设定，一般缓存数据流量的数据时间标记设定为分钟级，大缓存数据流量的数据时间标记设定为秒级，更大缓存数据流量的数据时间标记设定为毫秒级。

5.根据权利要求1所述的应对大流量数据的多级缓存方法，其特征在于：所述步骤六中，不同级别缓存数据一致性的检查包括；根据缓存类型，优先检查后台数据库和远程集中式数据缓存的数据一致性，判断存储的缓存数据版本、时间标记是否一致，如果不一致，则与服务器单元节点本地缓存核对，如三者中两个相同，则取该缓存数据为更新的缓存数据，如三者均不相同，则要求调用用户终端的缓存数据，以用户终端的缓存数据为更新的缓存数据。

6.根据权利要求1所述的应对大流量数据的多级缓存方法，其特征在于：所述步骤七中，缓存数据的读取路由处理规则为优先访问APP客户端本地缓存，并与业务网关缓存判断缓存数据的时间标记和版本，不一致则更新APP客户端本地缓存，业务网关缓存请求判断APP客户端本地缓存中缓存数据的时间标记和版本。