[发明专利]数据存储方法、系统、节点和存储介质

说明书

本发明实施例提供一种数据存储方法、系统、节点和存储介质，该系统包括由管理节点和多个数据节点构成的分布式文件系统、云存储系统和多个云盘，多个数据节点共用同一云盘。管理节点响应于客户端的数据存储请求，从多个云盘中确定目标云盘以及在目标云盘挂载的数据节点中确定预设数量的数据节点，将预设数量的数据节点的标识发送至客户端。预设数量的数据节点中的第一数据节点接收客户端发送的数据块，将数据块存入目标云盘，将数据块的写入事件日志同步至预设数量的数据节点中的第二数据节点。目标云盘将数据块的多个副本存入云存储系统中。通过该方案，既保证了数据的安全、可靠存储，又降低了数据块的副本数量，降低存储成本。

技术领域

本发明涉及云计算技术领域，尤其涉及一种数据存储方法、系统、节点和存储介质。

背景技术

随着云计算的兴起，云计算带来的低成本、按需灵活配置和高资源利用率吸引了越来越多的企业用户把它们的系统迁移到云上。

比如将一些大数据系统迁移到云上的一个实现方式是：使用云端提供的基础设施即服务（Infrastructure as a Service，简称IaaS）资源搭建其系统，称之为云上自建。

以Hadoop分布式文件系统（Hadoop Distributed File System，简称HDFS）为例，HDFS由名字节点与若干数据节点组成，HDFS本身会使用多副本机制进行数据存储，以保证数据的高可用性。而云端也会提供有云存储系统，为保证数据安全、可靠，也会采用多副本机制进行数据存储。因此，具体如何实现HDFS上云，以及在HDFS上云过程中降低数据存储成本，是亟待解决的问题。

发明内容

本发明实施例提供一种数据存储方法、系统、节点和存储介质，用以实现分布式文件系统上云，且降低数据存储成本。

第一方面，本发明实施例提供一种数据存储方法，应用于分布式文件系统中的管理节点，所述分布式文件系统中还包括多个数据节点，所述多个数据节点中的部分数据节点共用同一云盘；该方法包括：

响应于客户端的数据存储请求，从预设的多个云盘中确定目标云盘；

在所述目标云盘挂载的数据节点中确定预设数量的数据节点；

将所述预设数量的数据节点的标识发送至所述客户端，以使所述客户端将数据块发送到第一数据节点，通过所述第一数据节点将所述数据块存入所述目标云盘以及将所述数据块的写入事件日志同步至第二数据节点，所述第一数据节点是所述预设数量的数据节点中的一个，所述第二数据节点包括所述预设数量的数据节点中的其他数据节点；其中，所述目标云盘将所述数据块的多个副本存入云存储系统中。

第二方面，本发明实施例提供一种数据存储装置，位于应用于分布式文件系统中的管理节点，所述分布式文件系统中还包括多个数据节点，所述多个数据节点中的部分数据节点共用同一云盘，该装置包括：

确定模块，用于响应于客户端的数据存储请求，从预设的多个云盘中确定目标云盘；在所述目标云盘挂载的数据节点中确定预设数量的数据节点；

发送模块，用于将所述预设数量的数据节点的标识发送至所述客户端，以使所述客户端将数据块发送到第一数据节点，通过所述第一数据节点将所述数据块存入所述目标云盘以及将所述数据块的写入事件日志同步至第二数据节点，所述第一数据节点是所述预设数量的数据节点中的一个，所述第二数据节点包括所述预设数量的数据节点中的其他数据节点；其中，所述目标云盘将所述数据块的多个副本存入云存储系统中。

第三方面，本发明实施例提供一种管理节点，包括：存储器、处理器、通信接口；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器至少可以实现如第一方面所述的数据存储方法。