[发明专利]一种实时数据的分布存储和分页查询方法

说明书

技术领域

本发明涉及一种数据存储与查询方法，更具体地说，涉及一种实时数据的分布存储和分页查询方法。

背景技术

在当今的社交网络中，用户会产生大量的实时数据，而往往这些实时数据需要进行分布式存储，此时能够快速分页查询这些实时数据就显得尤为重要。

目前，实现快速查询分布式数据的方法，大多以数据偏移量和获取个数进行分页查询，这种技术存在一点不足：在查看当前页数据时，如果数据库增加了新的实时数据，当你点击获取下一页数据时，就会发现前一页的数据会重复出现在下一页上，这样就会给用户造成了不好的体验。如图1所示，时间轴由上到下分别表示访问第一页、访问第二页的数据分布曲线，及其对比。

发明内容

本发明的目的在于克服现有技术的不足，提供一种解决在访问下一页数据时出现数据重复现象的问题的实时数据的分布存储和分页查询方法。

本发明的技术方案如下：

一种实时数据的分布存储和分页查询方法，采用至少一个以上数据节点对数据进行存储；查询方法步骤如下：

1）客户端提交查询请求至业务节点；

2）业务节点接收查询请求，判断查询请求中包含的请求显示的信息条数、页码；业务节点以当前查询页面的首个数据的对象id，结合当前查询页面显示的信息条数进行运算，得出所请求的数据的起始数据的对象id，并结合请求显示的信息条数，运算得出查询结果，并从数据节点输出符合显示的信息条数、页码的查询结果。

作为优选，所述的对象id按所属数据生成时间的先后呈递增序列。

作为优选，步骤1）具体为：

1.1）在客户端中设置记录标签参数，该标签的起始值为空，之后的值由业务节点重新计算再传回给客户端；

1.2）客户端在每次请求实时数据时，将页码标签、每页显示信息数标签、记录标签发送至业务节点；

步骤2）具体为：

2.1）业务节点接收客户端发过来的参数，判断请求数据的起始值是否为0或记录标签是否为空，如果满足其中任一项，直接按请求数据的起始值、每页显示信息数标签参数访问数据节点，进行分页查询；

2.2）从数据节点得到查询结果之后，业务节点开始计算记录标签的值，并和查询结果一起返回给客户端；

2.3）如果步骤2.1）的请求数据的起始值和记录标签均不为空，业务节点判断查询请求的页码与当前页码的大小关系；

2.4）计算请求的页码与当前页码差乘以每页显示信息条数得到下一页偏移值，如果查询请求的页码大于当前页码，则查询的首个数据的对象id为当前页首个数据的对象id减去下一页偏移值；如果查询请求的页码小于当前页码，则查询的首个数据的对象id为当前页首个数据的对象id加上下一页偏移值；

2.5）业务节点重新计算记录标签的值，与数据节点查询结果一起返回给客户端。

作为优选，步骤2.5）所述的计算记录标签的值，方法如下：

a、记录下查询结果最后一条记录的对象id；

b、将请求数据的起始值与查询结果个数进行相加得到下一页偏移值；

c、再将步骤a中的最后一条记录的对象id与步骤b中的偏移值拼接为记录标签的值。

作为优选，步骤2.4）具体为：

业务节点从记录标签中获取下一页偏移值和查询结果最后一条记录的对象id，如果请求数据的起始值大于等于下一页偏移值，则只在数据节点中查询对象id小于查询结果最后一条记录的对象id；

如果请求数据的起始值小于下一页偏移值，则只在数据节点中查询对象id大于查询结果最后一条记录的对象id。

作为优选，所述的对象id为全局唯一，对象id的生成规则为：时间戳+业务节点内流水号+业务节点编号。

作为优选，数据的存储规则为：对象id与数据节点个数取模，得到的结果为该数据对应存储的数据节点编号。

作为优选，所述的数据节点为在至少一个物理数据节点上创建的不少物理数据节点的虚拟数据节点。

作为优选，从数据节点获取数据的步骤如下：