[发明专利]数据动态分片的存储方法、装置和系统

说明书

本发明公开一种数据动态分片的存储方法、装置和系统。该方法包括：响应于客户端发起的访问请求，进行业务分析，获取配置管理模板的节点参数和存储参数；实时采集各存储节点的网络带宽；根据节点参数、存储参数和各存储节点的网络带宽确定当前文件分片数；根据当前文件分片数对数据进行分片或合并，以便路由控制器访问各对应存储节点的数据片。本发明通过引入存储节点实时可用带宽为参数，可以动态调整文件分片数，从而提高了存储节点的I/O性能，提高了数据分片放置和读取效率。

技术领域

本发明涉及数据存储领域，特别涉及一种数据动态分片的存储方法、装置和系统。

背景技术

随着信息技术的快速发展，信息系统数据库中的数据量越来越大。为了满足大数据量的存储需求，在多台服务器上运行的分布式存储系统得到了广泛的应用。

在分布式存储系统中，多台服务器上分别运行了多个数据库系统。数据进行存储时，需要先将数据进行分片(sharding)，再将不同的数据分片交由不同的服务器进行存储。分片是一种水平扩展(horizontal scaling)的方式，把一个大的数据集分散到多个数据节点上，所有的数据节点将组成一个逻辑上的数据库来存储这个大的数据集。分片对用户(应用层)是透明的，用户不会知道数据被存放到哪个片服务器上。采用数据分片进行数据存储，可以突破单节点服务器的I/O能力限制，解决数据库拓展性的问题。

现有的数据分片技术方案采用固定参数进行设定，或者通过设定文件大小阈值设置分片数，由此会导致存储系统I/O性能低、数据分片放置和读取效率低等问题。

发明内容

鉴于以上技术问题，本发明提供了一种数据动态分片的存储方法、装置和系统，可以动态调整文件分片数。

根据本发明的一个方面，提供一种数据动态分片的存储方法，包括：

响应于客户端发起的访问请求，进行业务分析，获取配置管理模板的节点参数和存储参数；

实时采集各存储节点的网络带宽；

根据节点参数、存储参数和各存储节点的网络带宽确定当前文件分片数；

根据当前文件分片数对数据进行分片或合并，以便路由控制器访问各对应存储节点的数据片。

在本发明的一个实施例中，所述根据节点参数、存储参数和各存储节点的网络带宽确定当前文件分片数包括：

确定初始文件分片数；

判断各存储节点的网络带宽之和是否大于等于预定阈值；

若各存储节点的网络带宽之和大于等于预定值，则根据初始文件分片数、预定阈值以及各存储节点的网络带宽之和确定当前文件分片数。

在本发明的一个实施例中，所述根据节点参数、存储参数和各存储节点的网络带宽确定当前文件分片数还包括：

若各存储节点的网络带宽之和小于预定阈值，则将初始文件分片数作为当前文件分片数。

在本发明的一个实施例中，所述根据初始文件分片数、预定阈值以及各存储节点的网络带宽之和确定当前文件分片数包括：

根据公式

确定当前文件分片数m2，其中，m1为初始文件分片数，K＝k1+k2+…+kn为各存储节点的网络带宽之和，ki为n个存储节点中第i个存储节点的网络带宽，n为大于1的自然数，Kmax为所有n个存储节点的网络带宽之和的预定阈值。

根据本发明的另一方面，提供一种数据动态分片的存储装置，包括：

业务管理模块，用于响应于客户端发起的访问请求，进行业务分析，获取配置管理模板的节点参数和存储参数；