[发明专利]基于云计算的大数据检索方法

权利要求书

1.一种基于云计算的大数据检索方法，其特征在于，包括：

将云存储系统的索引结构分为主索引和本地索引两级，将数据内容存储于本地索引中，并在主索引中利用链式队列为所有的本地索引发布的元数据建立索引，通过元数据的关联实现检索。

2.根据权利要求1所述的方法，其特征在于，所述将云存储系统的索引结构分为主索引和本地索引两级，进一步包括：

1)对下级的云存储系统的存储空间进行划分，按照等量和有序的原则设定好各本地索引管理的空间范围；

2)按照步骤1)分配好的本地索引管理的空间范围，将云存储系统中的数据映射到对应的本地索引中，当映射过程完成以后，各本地索引内部以及各本地索引之间均为有序；

3)下级的各本地索引分别将其最高级的节点发布到上级的主索引中，主索引通过下级发布过来的节点，构造全局的链式队列索引，然后将各本地索引关联起来，构成完整的索引空间；

4)下级各本地索引逐步向下进行节点的迭代发布，根据发布后预估的检索速度增加比和发布后主索引内存占用的增长比，来判断是否要继续向下发布本地索引的节点；若预估检索速度增加比低于主索引内存占用增加比，则停止向下级发布。

3.根据权利要求2所述的方法，其特征在于，所述通过元数据的关联实现检索，进一步包括：

首先以主索引作为检索的入口，通过检索主索引，来确定实际包含待检索数据的本地索引；其次，将检索处理转发给该本地索引，由该本地索引检索到确定的数据后，直接返回给检索请求的发起者，具体步骤包括：

1)将待检索的区间发送给上级的云平台服务器，主索引以区间的下界作为检索的入口键，在主索引中进行检索；2)当上级的主索引根据下界的键定位到具体本地索引后，将检索处理转发给发布该键的下级本地索引；3)当本地索引接收到转发来的检索处理请求时，首先根据待检索的区间，遍历自己的索引，直至满足检索区间的上界为止；若待检索的区间已检索一个本地索引的管理范围，则将检索请求转发给该本地索引的后继兄弟，将检索到的数据集直接从本地索引返回给检索的请求端。

4.根据权利要求3所述的方法，还包括：在提交数据更新之前，每个事务先检查在该事务读取数据后，有没有其他事务修改了该数据；如果其他事务有更新，将正在提交的事务进行回滚；所述的链式队列每个节点中还包含2个标志位和1个锁；其中，marked标志位用于标识该节点是否正在被删除；linked标志位标识该节点是否完全插入，即所有层次的指针域都更新完毕，每一个节点分别维护一个锁lock；另外还定义2个哨兵节点head和tail，其键值分别为常数min_int和max_int；

所述链式队列的定位操作首先从哨兵节点head的最高级开始查找，依次下降，每一级查找到待查询键值k所在位置或者哨兵节点tail停止，如果找到k对应的节点，则更新节点i表示该节点的最高级，记录其每级对应的前驱节点pre[i]；

所述链式队列的插入操作包括：

1)首先调用定位操作，返回定位的结果，如果找到当前节点，即键值为k的节点已经存在，不能插入，否则，进入步骤2的操作；

2)对前驱节点数组pre自下向上加锁；

3)验证返回的pre和后继节点数组succ的下一节点是否发生变化，若pre和succ的下一节点发生变化，则先释放刚才的锁，然后重新定位pre和succ；如果pre和succ都没有发生了变化，进行步骤4；

4)从底级开始向上进行插入操作，然后置linked标志位为true，表示插入节点已经完全链接，最后释放所有的锁；

所述链式队列的删除操作将指定的节点删除，首先定位节点，然后判定当前节点的状态是否为完全链接，且没有正在被删除，如果该节点状态合理，则对该节点上锁，然而有可能该节点已经被其他线程删除，此时返回false，否则，置节点marked标志位为true然后自下向上对前驱节点上锁，如果succ和pre的状态发生改变，则释放之前的锁，然后重新定位节点；最后，进行节点的物理删除然后释放所有锁，返回true；

所述链式队列的检索操作先通过定位查找节点的位置，然后返回检索结果，以及相应的前驱节点和后继节点；如果没有找到相应节点，当前节点正在被删除，或当前节点没有完全连接，则检索失败；如果找到了相应节点，并且该节点没有正在被删除且完全链接，则检索成功。