[发明专利]基于微处理器系统调度实现冷数据分布式存储系统有效

专利信息
申请号: 202011502277.6 申请日: 2020-12-18
公开(公告)号: CN112612414B 公开(公告)日: 2022-06-17
发明(设计)人: 黄艺海;甘晨 申请(专利权)人: 杭州前云数据技术有限公司
主分类号: G06F3/06 分类号: G06F3/06;G06F9/4401;G06F1/3234;G06F1/3221
代理公司: 北京科亿知识产权代理事务所(普通合伙) 11350 代理人: 汤东凤
地址: 310022 浙江省杭州*** 国省代码: 浙江;33
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 基于 微处理器 系统 调度 实现 数据 分布式 存储系统
【权利要求书】:

1.基于微处理器系统调度实现冷数据分布式存储系统,其特征在于包括硬件系统和软件系统,硬件系统包括微处理系统,系统支持接入多个硬盘,并支持硬盘休眠和系统深度休眠,同时支持通过以太网口进行唤醒系统,软件系统包括服务层、调度层和存储层;

所述的服务层是实现一个高可用性的基于RESTFUL的对象存储接口,其包括多个RESTFUL对象存储服务节点,当被选中的服务节点开始响应用户的RESTFUL接口请求时,首先获取操作方法,是写或读操作,其次获取存储对象的名称和此次操作的具有唯一性的用户名,最后缓存写操作内容或者请求读内容;

所述的存储层由微处理系统和机械硬盘形成的存储节点构成,每个存储节点都有自己的唯一标识uuid和唯一的IP地址,在存储资源池里首先根据每个节点的唯一标识和IP地址进行节点分组,每个组的节点个数为M+N,节点在不提供服务的时候能够进入休眠状态,同时在需要读写时又能快速唤醒;

休眠分成三个状态:写休眠、待机休眠、深度休眠,这三个状态都是相对于一个纠删码组来定义的;

写休眠是指一个纠删码组里面,如果纠删码是M+N,那么在这个状态下,有N个存储节点是处于硬盘休眠状态,由于在线的节点数不完整,无法满足写需求,所以当前这个组是处于只读的状态;

待机休眠是指整个纠删码组所有的存储节点都处于硬盘休眠状态,在这种状态下,组的读写状态恢复会比较快,只要接收到指令,所有存储节点能够立刻唤醒硬盘,进入待命状态;

深度休眠是指整个纠删码组所有的存储节点硬盘和微处理器系统都处于休眠状态,如果需要进入待命状态,必须首先由调度层发送以太网唤醒,然后进入待机状态,进而再由待机状态进入写休眠状态,写休眠状态之后进入待命状态;

所述的调度层实现响应服务层发送来的请求,并对后端的存储层进行调度,如果需要的纠删码组是在深度休眠状态下,那么要先进行组成员存储节点的全部唤醒,等待组的状态切换到写休眠或者待命状态,再把调度结果发送给请求服务节点,让服务节点继续向存储层完成后续读写操作。

2.根据权利要求1所述的基于微处理器系统调度实现冷数据分布式存储系统,其特征在于所述服务层的缓存分为读缓存和写缓存两种,写缓存是当用户提交之后,缓存在服务节点,等待目标存储池里面的纠删码组待命后,直接把写缓存写入;

所述的读缓存是基于事件广播驱动的有向图机制,一个是读操作请求,一个是休眠广播,当收到读操作请求时,找到对应有向图的对象标识节点,如果进入读操作老化超时,说明上次请求距离当前时间太长,那么本次读操作失败需要重新读操作事件驱动,如果本身在缓存中,那么直接从缓存中读取对象内容,否则进入对应的纠删码组节点,如果纠删码组在待命状态,那么不需要进入缓存直接返回读操作结果,如果纠删码组在写休眠状态,那么不需要进入缓存直接返回读操作结果,如果纠删码组在待机状态,那么等待唤醒到写休眠状态,把对象加载到对象缓存区域;

当收到休眠广播事件时,找到对应有向图的纠删码组节点,如果节点被广播进入待命状态,则停止遍历,如果节点被广播进入写休眠状态,则停止遍历,如果节点被广播进入待机状态,那么将未老化超时对象加载到对象缓存区域,如果节点被广播进入待命状态,则将对象从对象缓存区域移除。

3.根据权利要求2所述的基于微处理器系统调度实现冷数据分布式存储系统,其特征在于构成有向图之后,如果从驱动点能够在有向图找到最优路径进入对象缓存区域的,则将对象加载或者保留在对象缓存区域,反之则不加载或者不保存。

4.根据权利要求1所述的基于微处理器系统调度实现冷数据分布式存储系统,其特征在于存储层中的存储对象的存储位置是采用动态一致性哈希环的方法进行计算,其基于存储池的环状结构的“作息时间表”,

所述的“作息时间表”是把一个周期形成一个圆周,每一段代表一个需要待命的时间段,每一个加入的纠删码组,根据自己加入“作息表”的顺序对时间段取模,然后把自己并入对应时间段激活队列中,如果纠删码个数不足以填满计划中所有时间段时,那么用虚拟映射的方式,把已经分配的组映射到空白时间段,当到达一个计划时间段时,将会激活所有属于这个时间段队列的纠删码组,在激活过程中,如果已激活记录不为空,那么跳过虚拟映射组。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州前云数据技术有限公司,未经杭州前云数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202011502277.6/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top