[发明专利]一种分布式高并发云存储数据库系统及其负荷均衡方法有效
申请号: | 201710483338.0 | 申请日: | 2017-06-22 |
公开(公告)号: | CN107277144B | 公开(公告)日: | 2021-02-09 |
发明(设计)人: | 陈海江;周岐武 | 申请(专利权)人: | 浙江力石科技股份有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08;G06F16/27;G06F9/50;G06F9/48 |
代理公司: | 北京青松知识产权代理事务所(特殊普通合伙) 11384 | 代理人: | 郑青松 |
地址: | 311121 浙江省杭州市余杭区文一西*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 并发 存储 数据库 系统 及其 负荷 均衡 方法 | ||
1.一种分布式高并发云存储数据库系统,其特征在于,包括:
数据对象封装单元,用于对作为云存储客体的数据内容生成描述参数,所述描述参数定义该数据内容各方面的属性,其中,所述云存储客体包括文档、照片、多媒体、网页、短格式数据,所述描述参数包括所述数据内容的类型、大小、内容关键词,其中,所述内容关键词反映被存储客体内容提要方面的属性;将数据内容及其描述参数封装为一个数据对象;
对象数据库单元,用于将每个数据对象的描述参数作为数据库项,进行保存、查询和管理;
若干个云存储并发节点群,每个并发节点群当中包括节点群接口和若干云存储节点,所述云存储节点用于存储所述数据对象,并且承担本节点存储的数据对象被任务调用所产生的运算和通信负荷,响应该任务调用而向节点群接口反馈数据对象包含的数据内容或者与数据对象相关的处理结果;节点群接口用于接收针对本群的云存储节点下发的任务指令,将该任务指令传输给相对应的云存储节点,以及返回云存储节点反馈的数据对象包含的数据内容或者与数据对象相关的处理结果;
若干个数据对象分配管理单元,每个并发节点群对应一个数据对象分配管理单元;数据对象分配管理单元包括节点状态监测模块、数据对象分配模块以及数据库操作模块;其中,节点状态监测模块用于监测对应的并发节点群中每个云存储节点并获得监测参数,监测参数包括数据对象总量、数据对象被任务调用的平均频度以及数据对象被调用带来的平均负荷;并且,节点状态监测模块实时监测每个云存储节点的当前处理能力参数;数据对象分配模块,根据从节点状态监测模块获得的监测参数和当前处理能力参数,确定每个群中的可用云存储节点,决定将数据对象交由群中的某个或某些云存储节点存储的分配方案,其中,确定可用云存储节点的过程为:首先,计算的值,其中fi是某一类型的数据对象被任务调用的平均频率,Bi是与所述数据对象的类型相对应的平均负荷,Ci表示节点上该类型数据对象的总量;fj、Bj、Cj分别表示另外一种类型的数据对象的平均频率、平均负荷以及总量;将云存储节点上所有数据对象类型按照以上公式中的计算方法相加作为分子,分母A表示当前处理能力参数,当计算结果小于预定值时,则将所述节点作为可用云存储节点;并且,每个数据对象都被分配给至少两个互为主备的云存储节点;数据库操作模块,用于根据分配方案,更新对象数据库单元当中数据对象的数据库项,其中登记每个数据对象被分配给的主、备云存储节点;另外,所述对象分配模块在决定分配方案时,通过查询对象数据库单元,获得每个云存储节点上的数据对象的描述参数;以及获得待初次分配或重分配的数据对象的描述参数;根据描述参数,判断云存储节点上数据对象与待分配的数据对象的关联度,按照使同一云存储节点上的数据对象关联度最小的标准生成所述分配方案;
并发性任务处理单元,用于并行接收来自云存储服务用户的任务请求,所述任务请求包括获得数据对象包含的数据内容,或者请求对数据对象执行处理;所述并发性任务处理单元通过所述对象数据库单元查询任务请求所涉及的数据对象所在的并发节点群,并向该并发节点群的节点群接口提出任务指令;由并发节点群的节点群接口接收数据内容或者与数据对象相关的处理结果。
2.根据权利要求1所述的分布式高并发云存储数据库系统,其特征在于,所述描述参数包括数据对象的内容描述关键词,并且所述数据对象分配模块按照使同一云存储节点上的内容描述关键词的重合度最低的标准生成所述分配方案。
3.根据权利要求1所述的分布式高并发云存储数据库系统,其特征在于,所述描述参数包括数据对象的类型描述关键词,并且所述数据对象分配模块按照使同一云存储节点上的数据对象类型重合度最低的标准来生成所述分配方案。
4.根据权利要求1所述的分布式高并发云存储数据库系统,其特征在于,所述并发性任务处理单元包括任务分配单元,所述任务分配单元获得存储有被任务调用的数据对象的云存储节点的监测参数和当前处理能力参数,并且根据各个节点上数据对象被调用带来的平均负荷以及当前处理能力参数,选择执行任务调用的节点。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江力石科技股份有限公司,未经浙江力石科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710483338.0/1.html,转载请声明来源钻瓜专利网。