[发明专利]基于集群访问的数据处理方法及装置在审
申请号: | 201911258658.1 | 申请日: | 2019-12-10 |
公开(公告)号: | CN111026709A | 公开(公告)日: | 2020-04-17 |
发明(设计)人: | 毛恒 | 申请(专利权)人: | 中盈优创资讯科技有限公司 |
主分类号: | G06F16/13 | 分类号: | G06F16/13;G06F16/14;G06F16/182 |
代理公司: | 北京三友知识产权代理有限公司 11127 | 代理人: | 薛平;谷敬丽 |
地址: | 100872 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 集群 访问 数据处理 方法 装置 | ||
1.一种基于集群访问的数据处理方法,其特征在于,包括:
接收来自客户端的数据请求,其中,所述数据请求用于请求访问一个或多个集群系统上存储的数据;
基于预先构建的第一索引信息,确定所述数据请求的集群访问类型,其中,所述集群访问类型包括:单集群访问和跨集群访问,所述第一索引信息用于索引各个集群系统;
当所述数据请求的集群访问类型为跨集群访问的情况下,根据所述数据请求,生成多个子数据请求,其中,每个子数据请求用于请求访问一个集群系统上存储的数据;
将各个子数据请求发送至各个集群系统,并接收各个集群系统返回的数据处理结果,其中,各个集群系统基于各自内部预先构建的第二索引信息,对各个子数据请求所请求的数据进行处理,每个集群系统的第二索引信息用于索引每个集群系统上存储的数据;
将各个集群系统返回的数据处理结果合并,并返回所述客户端。
2.如权利要求1所述的方法,其特征在于,在基于预先构建的第一索引信息,根据所述数据请求包含的字段信息,确定所述数据请求的集群访问类型之后,所述方法还包括:
当所述数据请求的集群访问类型为单集群访问的情况下,将所述数据请求发送到相应的集群系统,接收相应集群系统返回的数据处理结果,并返回至所述客户端。
3.如权利要求1所述的方法,其特征在于,所述方法还包括:
采集各个集群系统上存储的数据的数据标识与字段信息;
根据各个集群系统上存储的数据的数据标识与字段信息,生成索引每个集群系统上存储数据的第二索引信息;
根据各个集群系统上的集群标识,以及各个集群系统内部的第二索引信息,生成索引各个集群系统第一索引信息。
4.如权利要求1至3任一项所述的方法,其特征在于,基于预先构建的第一索引信息,确定所述数据请求的集群访问类型,包括:
解析所述数据请求,得到待请求数据的字段信息;
基于预先构建的第一索引信息,筛选出满足待请求数据字段信息的一个或多个数据标识;
如果筛选出的每个数据标识在所述第一索引信息中对应多个集群标识,则确定所述数据请求的集群访问类型为跨集群访问;
如果筛选出的每个数据标识在所述第一索引信息中对应一个集群标识,则确定所述数据请求的集群访问类型为单集群访问。
5.一种基于集群访问的数据处理装置,其特征在于,包括:
数据请求接收模块,用于接收来自客户端的数据请求,其中,所述数据请求用于请求访问一个或多个集群系统上存储的数据;
集群访问类型判断模块,用于基于预先构建的第一索引信息,确定所述数据请求的集群访问类型,其中,所述集群访问类型包括:单集群访问和跨集群访问,所述第一索引信息用于索引各个集群系统;
数据请求处理模块,用于当所述数据请求的集群访问类型为跨集群访问的情况下,根据所述数据请求,生成多个子数据请求,其中,每个子数据请求用于请求访问一个集群系统上存储的数据;
数据处理模块,用于将各个子数据请求发送至各个集群系统,并接收各个集群系统返回的数据处理结果,其中,各个集群系统基于各自内部预先构建的第二索引信息,对各个子数据请求所请求的数据进行处理,每个集群系统的第二索引信息用于索引每个集群系统上存储的数据;
第一数据响应模块,用于将各个集群系统返回的数据处理结果合并,并返回所述客户端。
6.如权利要求5所述的装置,其特征在于,所述装置还包括:
第二数据响应模块,用于当所述数据请求的集群访问类型为单集群访问的情况下,将所述数据请求发送到相应的集群系统,接收相应集群系统返回的数据处理结果,并返回至所述客户端。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中盈优创资讯科技有限公司,未经中盈优创资讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911258658.1/1.html,转载请声明来源钻瓜专利网。