[发明专利]数据处理方法、装置、电子设备及可读存储介质有效
申请号: | 201911407548.7 | 申请日: | 2019-12-31 |
公开(公告)号: | CN111399765B | 公开(公告)日: | 2022-11-01 |
发明(设计)人: | 丁光凯;李丹旺 | 申请(专利权)人: | 杭州海康威视系统技术有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 杨春香 |
地址: | 310051 浙江省杭州*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 电子设备 可读 存储 介质 | ||
1.一种数据处理方法,应用于云存储系统,其特征在于,所述方法包括:
当接收到针对第一目标数据的随机写请求时,确定用于存储所述第一目标数据的第一目标存储单元,并将所述第一目标数据写入到缓存区域中的所述第一目标存储单元;
当检测到本地缓存区域中的第二目标存储单元满足满条带要求时,将所述第二目标存储单元中的数据转存至云存储系统的存储区域;
其中,所述将所述第一目标数据写入到缓存区域中的所述第一目标存储单元,包括:
对于所述第一目标存储单元中的任一存储单元,根据该存储单元的序号查询匹配的集群索引表项,以确定该存储单元对应的主备节点;其中,集群索引表记录有存储单元的序号与主备节点的地址信息的对应关系;
将该存储单元的序号以及目标数据分片发送给该存储单元对应的主节点,以使该主节点将该目标数据分片写入对应的缓存区域,并将该存储单元的序号以及目标数据分片同步给备节点,由该备节点将该目标数据分片写入对应的缓存区域;其中,该目标数据分片为所述第一目标数据中存储在该存储单元中的数据。
2.根据权利要求1所述的方法,其特征在于,所述确定用于存储所述第一目标数据的第一目标存储单元,包括:
根据所述随机写请求中携带的第一偏移量以及第一数据长度,按照以下公式确定所述第一目标存储单元的序号:
其中,S为所述第一目标存储单元中第一个存储单元的序号,E为所述第一目标存储单元中最后一个存储单元的序号,offset为所述第一偏移量,len为所述第一数据长度,为向下取整运算,所述缓存区域以及所述存储区域中第一个存储单元的序号为0。
3.根据权利要求1所述的方法,其特征在于,所述根据该存储单元的序号查询匹配的集群索引表项之后,还包括:
若未查询到匹配的集群索引表项,则将本节点确定为主节点,并从本组其他节点中选择一个节点作为副节点;
在集群索引表中插入与该主节点和副节点匹配的集群索引表项。
4.根据权利要求1所述的方法,其特征在于,所述主节点将该目标数据分片写入对应的缓存区域,包括:
根据该存储单元的序号查询匹配的本地索引表项,以确定该存储单元在本地缓存区域中对应的存储位置信息;其中,本地索引表记录有存储单元的序号与缓存区域中的存储位置信息的对应关系;
根据该存储位置信息将该目标数据分片写入对应的缓存区域。
5.根据权利要求4所述的方法,其特征在于,所述根据该存储单元的序号查询匹配的本地索引表项之后,还包括:
若未查询到匹配的本地索引表项,则从所述云存储系统的存储区域中读取该存储单元的数据;
从缓存区域中申请一个空闲的存储单元,并将该目标数据分片与读取到的数据合并后存入所申请的存储单元;
在本地索引表中插入与所申请的存储单元匹配的本地索引表项。
6.根据权利要求1所述的方法,其特征在于,所述将所述第二目标存储单元中的数据转存至云存储系统的存储区域,包括:
根据所述第二目标存储单元中各存储单元的序号,按序从所述缓存区域中读取各存储单元中的数据;
将所读取的数据拼接为一个完整的条带的数据,并转存至所述云存储系统的存储区域。
7.根据权利要求1所述的方法,其特征在于,所述将所述第二目标存储单元中的数据转存至云存储系统的存储区域之后,还包括:
将所述第二目标存储单元对应的本地索引表项设置为已转存状态;其中,本地索引表记录有存储单元的序号与存储区域中的存储位置信息的对应关系;
所述本地缓存区域中是否存在第二目标存储单元满足满条带要求通过以下方式检测:
轮询本地索引表中各本地索引表项;
将未转存状态的本地索引表项中记录的存储单元的序号记录到目标列表中;
当所述目标列表中存在序号连续的多个存储单元的数量满足一个条带的数量时,将该序号连续的多个存储单元确定为满足满条带要求的第二目标存储单元。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州海康威视系统技术有限公司,未经杭州海康威视系统技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911407548.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:二极管泵浦重复频率激光器中晶体棒冷却结构
- 下一篇:具有可变形透镜的车灯组件