[发明专利]一种纠删处理系统、方法及分布式存储系统在审
申请号: | 202110656854.5 | 申请日: | 2021-06-11 |
公开(公告)号: | CN113360264A | 公开(公告)日: | 2021-09-07 |
发明(设计)人: | 王明明;张磊;吴睿振;王凛 | 申请(专利权)人: | 山东云海国创云计算装备产业创新中心有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F9/50;G06F11/10 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 孙晓红 |
地址: | 250001 山东省济南市自由贸易试验*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 处理 系统 方法 分布式 存储系统 | ||
本申请公开了一种纠删处理系统、方法及分布式存储系统,其中,纠删处理系统包括纠删处理载体、设置在纠删处理载体上的任务调度器及任务处理器,任务调度器上设有任务接收接口,其中:任务调度器,用于利用任务接收接口接收纠删任务请求,对纠删任务请求进行解析,得到数据信息、矩阵信息和配置信息;任务处理器,用于根据数据信息调入输入数据,根据矩阵信息调入纠删矩阵,根据输入数据、纠删矩阵及配置信息进行纠删计算,得到输出数据,并根据配置信息输出输出数据。本申请公开的上述技术方案,通过设置在纠删处理载体上的任务调度器和任务处理器实现利用硬件结构进行纠删处理,从而降低纠删处理对CPU计算资源的占用,降低CPU的开销。
技术领域
本申请涉及分布式存储技术领域,更具体地说,涉及一种纠删处理系统、方法及分布式存储系统。
背景技术
由于纠删码技术在防止数据丢失方面取得了较好的效果,因此,被引入存储领域。纠删码的种类众多,在实际存储系统中较常见的有应用在分布式环境下的RS码(Reed-Solomon Code,里徳所罗门码)。
目前,在分布式存储中,对基于RS纠删码的编码和解码,大都使用如intel(英特尔)的ISA(Instruction Set Architecture,指令基体系架构)、Jerasure2.0(一个基于C的支持存储应用中纠删码的类库)等开源软件的解决方案,即在CPU(central processingunit,中央处理器)上运行RS相关的软件进行纠删的编码、解码,但是,这种实现方式会占用比较多的CPU计算资源,增大CPU开销。
综上所述,如何降低纠删对CPU计算资源的占用,是目前本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此,本申请的目的是提供一种纠删处理系统、方法及分布式存储系统,用于降低纠删对CPU计算资源的占用。
为了实现上述目的,本申请提供如下技术方案:
一种纠删处理系统,包括纠删处理载体、设置在所述纠删处理载体上的任务调度器及任务处理器,所述任务调度器上设有任务接收接口,其中:
所述任务调度器,用于利用所述任务接收接口接收纠删任务请求,对所述纠删任务请求进行解析,得到数据信息、矩阵信息和配置信息;
所述任务处理器,用于根据所述数据信息调入输入数据,根据所述矩阵信息调入纠删矩阵,根据所述输入数据、所述纠删矩阵及所述配置信息进行纠删计算,得到输出数据,并根据所述配置信息输出所述输出数据。
优选的,所述任务处理器包括:
输入数据调度电路,用于根据所述数据信息调入所述输入数据,并将所述输入数据发送至与所述纠删任务请求对应数量个目标处理电路;
矩阵调度电路,用于根据所述矩阵信息调入所述纠删矩阵,并将所述纠删矩阵发送至所述目标处理电路;
配置调度电路,用于将所述配置信息发送至所述目标处理电路及与所述目标处理电路一一对应连接的目标输出数据调度电路;
N个处理电路;所述处理电路中的所述目标处理电路,用于根据所述输入数据、所述纠删矩阵及所述配置信息进行纠删计算,N≥1;
N个输出数据调度电路;所述输出数据调度电路中的所述目标输出数据调度电路,用于根据所述配置信息输出所述输出数据。
优选的,所述目标输出数据调度电路还用于对所述目标处理电路输出计算结果的次数进行计数,当所述目标处理电路输出所述计算结果的次数和任务期望次数一致时,向所述任务调度器发送任务结束的通知。
优选的,所述任务调度器,还用于在接收到任务结束的通知后,发出任务结束提示。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于山东云海国创云计算装备产业创新中心有限公司,未经山东云海国创云计算装备产业创新中心有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110656854.5/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种纸尿裤透气腰围生产工艺
- 下一篇:一种无线耳机及耳机系统