[发明专利]一种分布式存储系统有效
申请号: | 201611227452.9 | 申请日: | 2016-12-27 |
公开(公告)号: | CN106713465B | 公开(公告)日: | 2020-11-17 |
发明(设计)人: | 万志宏;陈海峰;王建德;朱林;史岩 | 申请(专利权)人: | 北京锐安科技有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08;G06F3/06 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 胡彬;邓猛烈 |
地址: | 100044 北京市海淀区西小口*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 存储系统 | ||
1.一种分布式存储系统,其特征在于,包括:至少一个数据服务器、至少一个存储服务器以及中心交换机,所述至少一个数据服务器,通过所述中心交换机与所述至少一个存储服务器相连;
所述至少一个数据服务器分布式地存储从第三方获取的海量数据以及对所述海量数据并行进行过滤处理,得到目标数据,将所述目标数据通过中心交换机发送至所述至少一个存储服务器;所述至少一个存储服务器接收并存储所述目标数据;
其中,所述至少一个数据服务器根据所述至少一个存储服务器的历史选取信息,从至少一个存储服务器的位置信息中确定选取次数最少的位置信息,将所述目标数据通过所述中心交换机发送给选取次数最少的位置信息所对应的存储服务器。
2.根据权利要求1所述的分布式存储系统,其特征在于,所述至少一个数据服务器包括数据处理器和监控器,所述数据处理器与所述监控器相连;
所述数据处理器对获取的海量数据进行过滤处理得到目标数据;所述监控器对所述数据处理器的处理状态进行监控,并在处理状态为数据处理异常时进行预警处理。
3.根据权利要求2所述的分布式存储系统,其特征在于,所述数据处理器包括:
待处理确定模块,用于在满足设定的处理条件时,确定所在数据服务器中待处理的海量数据;
数据处理模块,与所述待处理确定模块和监控器相连,用于根据设定的处理规则处理所述海量数据,获得所述海量数据的目标数据。
4.根据权利要求3所述的分布式存储系统,其特征在于,所述数据处理器,还包括:
处理标记模块,与所述数据处理模块相连,用于在获得所述海量数据的目标数据后,将所述海量数据对应处理标记位的标记值确定为设定标记值,以标记所述海量数据为已处理数据。
5.根据权利要求4所述的分布式存储系统,其特征在于,所述待处理确定模块具体用于在满足设定的处理条件时,确定所在数据服务器中每条海量数据对应处理标记位的标记值;如果存在处理标记位的标记值不为所述设定标记值,则将所述处理标记位对应的海量数据确定为待处理的海量数据。
6.根据权利要求2所述的分布式存储系统,其特征在于,所述至少一个数据服务器还包括第一存储器、第一控制器和第一收发器,所述数据处理器与所述第一控制器以及第一存储器相连,所述第一控制器和第一存储器分别与所述第一收发器相连,所述第一收发器与所述中心交换机相连;
所述第一存储器存储获取的海量数据以及接收并存储所述第一收发器通过所述中心交换机接收的所述至少一个存储服务器的位置信息;所述数据处理器对第一存储器中的海量数据过滤处理得到目标数据;所述第一控制器接收所述目标数据,并将对应的存储服务器的位置信息携带在所述目标数据后形成第一交互信息,通过所述第一收发器发送给所述中心交换机。
7.根据权利要求6所述的分布式存储系统,其特征在于,所述至少一个存储服务器包括第二收发器、第二控制器和第二存储器,所述第二收发器与所述中心交换机相连,所述第二控制器和所述第二存储器分别与所述第二收发器相连;
所述第二控制器通过所述第二收发器向所述中心交换机发送所在存储服务器的位置信息;和/或,所述第二控制器接收所述第二收发器通过所述中心交换机接收的第一交互信息,并在确定所述第一交互信息中包含所在存储服务器的位置信息后,将所述第一交互信息中的目标数据发送给所述第二存储器进行存储。
8.根据权利要求2所述的分布式存储系统,其特征在于,所述至少一个数据服务器还包括第三存储器、第三控制器和第三收发器,所述数据处理器与所述第三控制器以及第三存储器相连,所述第三控制器和第三存储器分别与所述第三收发器相连,所述第三收发器与所述中心交换机相连;
所述第三存储器存取获取的海量数据以及接收并存储所述第三收发器通过所述中心交换机接收的所述至少一个存储服务器的位置信息和剩余容量信息;所述数据处理器对第三存储器中的海量数据过滤处理得到目标数据;所述第三控制器接收所述目标数据,并将剩余容量符合存储条件的存储服务器的位置信息携带在所述目标数据后形成第二交互信息,通过所述第三收发器发送给所述中心交换机。
9.根据权利要求8所述的分布式存储系统,其特征在于,所述至少一个存储服务器还包括第四收发器、第四控制器和第四存储器,所述第四收发器与所述中心交换机相连,所述第四控制器和所述第四存储器分别与所述第四收发器相连;
所述第四控制器获取所述第四存储器的剩余容量信息和所在存储服务器的位置信息,通过所述第四收发器发送至所述中心交换机;和/或,
所述第四控制器接收所述第四收发器通过所述中心交换机接收的第二交互信息,并在确定所述第二交互信息中包含所在存储服务器的位置信息后,将所述第二交互信息中的目标数据发送给所述第四存储器进行存储。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京锐安科技有限公司,未经北京锐安科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201611227452.9/1.html,转载请声明来源钻瓜专利网。