[发明专利]一种大数据高并发下访问数据的方法及系统

说明书

本发明涉及一种大数据高并发下访问数据的方法及系统，其方法包括以下步骤，S1向业务的应用接口发送访问业务数据的请求；S2应用接口接收到请求，并从缓存服务器中查看是否包含业务对应的分页数据，若否则执行S3若是则执行S4；S3应用接口在数据库中查询业务对应的业务数据，并将查询到的业务数据初始化到缓存服务器中，且在缓存服务器中进行分页缓存，形成分页数据，然后执行S4；S4应用接口从缓存服务器中获取业务对应的分页数据，并返回分页数据。本发明结合缓存服务器，在缓存服务器中实现数据的分页功能，可以避免每次请求都查询数据库而导致数据库出现瓶颈的现象，避免因查询接口存在误差而导致数据漏查和重复查询的问题发生。

技术领域

本发明涉及数据访问的方法及系统，具体涉及一种大数据高并发下访问数据的方法及系统。

背景技术

在大数据高并发情况下，终端向服务器发送分页数据请求时，会不断请求数据库，当数据量大，出现高并发访问的时候，每次请求都查询数据库，会导致数据库出现瓶颈。而且查询接口可能存在误差，如果查询的下一页数据时有新增数据，会查询到上一页的重复数据；如果查询的下一页数据时有删除之前的数据，会出现漏查数据的情况。

发明内容

本发明所要解决的技术问题是提供一种大数据高并发下访问数据的方法及系统，可以很好的解决大数据高并发情况下，数据库访问瓶颈，以及后端数据增删改导致分页查询的误差问题。

本发明解决上述技术问题的技术方案如下：一种大数据高并发下访问数据的方法，包括以下步骤，

S1，向业务的应用接口发送访问业务数据的请求；

S2，应用接口接收到请求，并从缓存服务器中查看是否包含所述业务对应的分页数据，若否则执行S3，若是则执行S4；

S3，应用接口在数据库中查询所述业务对应的业务数据，并将查询到的业务数据初始化到缓存服务器中，且在缓存服务器中进行分页缓存，形成分页数据，然后执行S4；

S4，应用接口从缓存服务器中获取所述业务对应的分页数据，并返回分页数据。

本发明的有益效果是：本发明一种大数据高并发下访问数据的方法结合缓存服务器，在缓存服务器中实现数据的分页功能，可以避免每次请求都查询数据库而导致数据库出现瓶颈的现象；同时也可以避免因查询接口存在误差而导致数据漏查和重复查询的问题发生。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述应用接口实现分页缓存接口类，所述应用接口的实现类继承分页缓存抽象类。

进一步，

所述S3中，在缓存服务器中进行分页缓存的具体过程为，将所述业务对应的业务数据按预设的固定长度进行分页，并对每一固定长度的业务数据进行封装，且对封装后的每一固定长度的业务数据进行独立缓存；

在封装的过程中，所述业务对应的业务数据对象被封装在一个分页数据对象中，所述分页数据对象包含的属性有业务数据对象T、业务数据对象ID和业务数据对象标识位status；

在分页缓存的过程中，存放的对象包括：

以XXX_list为Key，存放所述业务对应的分页数据的所有页码列表；

以XXX_group_INDEX为Key,存放对应页码中分页数据的map对象；

以XXX_obj_ID为Key，存放业务数据对象的INDEX，其中，INDEX为分页的索引值。

进一步，所述S4具体为，所述应用接口根据请求的数据页码和请求的数据量从缓存服务器中获取所述业务对应的分页数据，并返回分页数据。