[发明专利]一种数据存储和动态迁移方法及装置

说明书

本发明提供一种数据存储和动态迁移方法，该方法包括：在客户端提交数据存储请求后，根据调度评价值的大小依次选取至少一个用于存储数据的数据节点；获取数据节点的相对负载值，以及所有数据节点的平均负载值；若数据节点的相对负载值不小于平均负载值，确定数据节点为重负载节点并按照降序排列方式加入重负载节点集合中；否则，确定数据节点为轻负载节点并按照升序排列方式加入轻负载节点集合中；将重负载节点集合中各重负载节点中的数据迁移到轻负载节点集合中各轻负载节点上。本发明能够帮助提高节点负载均衡时的执行效率，减少对节点硬件资源的消耗，对提高云存储系统的存储效率及减缓带宽压力方面具有重要的现实意义。

技术领域

本发明涉及数据存储技术领域，具体涉及一种数据存储和动态迁移方法及装置。

背景技术

随着互联网的高速发展，当今社会所产生的数据量在急速增长。在互联网中的信息数据大多是以高频率的小文件形式表现出来的，且在一般用户的信息存储访问中对小文件的存储访问的操作相对较多。

在云存储系统中，海量的数据存储、高性能、高扩展性是其主要特点，但是当小文件的数量达到一定程度之后，存储海量小文件会对数据节点带来巨大的内存空间的压力，对海量小文件的频繁且重复的访问也会给数据节点带来性能及负载均衡方面的影响。

在云存储系统中，小文件在存储时采用更为合理的放置方式，且在数据迁移时选择合理的动态迁移目标，能够帮助提高节点负载均衡时的执行效率，减少对节点硬件资源的消耗，对提高云存储系统的存储效率及减缓带宽压力方面具有重要的现实意义。

发明内容

本发明提供一种数据存储和动态迁移方法及装置，以解决现有技术中海量小文件在存储和数据迁移时会带来较大的内存空间压力，以及在访问时会带来性能及负载均衡方面影响的问题。

第一方面，本发明实施例提供一种数据存储和动态迁移方法，包括：

在客户端提交数据存储请求后，根据调度评价值的大小依次选取至少一个用于存储数据的数据节点；

获取所述数据节点的相对负载值，以及所有数据节点的平均负载值；

若所述数据节点的相对负载值不小于所述平均负载值，确定所述数据节点为重负载节点并按照降序排列方式加入重负载节点集合中；否则，确定所述数据节点为轻负载节点并按照升序排列方式加入轻负载节点集合中；

将所述重负载节点集合中各所述重负载节点中的数据迁移到所述轻负载节点集合中各所述轻负载节点上。

第二方面，本发明实施例提供一种数据存储和动态迁移装置，包括：

选取单元，用于在客户端提交数据存储请求后，根据调度评价值的大小依次选取至少一个用于存储数据的数据节点；

获取单元，用于获取所述数据节点的相对负载值，以及所有数据节点的平均负载值；

确定单元，用于若所述数据节点的相对负载值不小于所述平均负载值，确定所述数据节点为重负载节点并按照降序排列方式加入重负载节点集合中；否则，确定所述数据节点为轻负载节点并按照升序排列方式加入轻负载节点集合中；

迁移单元，用于将所述重负载节点集合中各所述重负载节点中的数据迁移到所述轻负载节点集合中各所述轻负载节点上。

本发明提供一种数据存储和动态迁移方法及装置，根据调度评价值作为选择数据存储节点的依据，使小文件在存储时具有更为合理的放置方式，能缓解海量小文件对数据节点带来的内存空间的压力；同时，根据每个数据节点的相对负载值和所有数据节点的平均负载值，来对各个数据节点的负载进行动态的调整，从而将负载较重的数据节点上的数据动态迁移到负载较轻的数据节点上，从而使云存储系统中的各个数据节点的负载更加均衡。