[发明专利]分布式数据镜像方法及存储数据节点

说明书

技术领域

本申请涉及网络存储领域，尤其涉及一种分布式数据镜像方法及存储数据节点。

背景技术

随着互联网的不断发展，互联网上的数据成爆发性增长，同时对数据的存取能力需求也不断增长。而这些海量数据很容易因为系统故障、磁盘损坏而丢失数据。所以如何保障海量数据的安全就成了关注的焦点。

目前的异地镜像系统大多采用集中式的方式。例如数据库之间的镜像，这种典型的集中式镜像系统的方案，其采用主辅的结构，即采用一个数据库对应另外一个数据库，这两个数据库，其中一个是主数据库，主要负责将数据同步给另一个数据库；另外一个是附属数据库，主要是接收主数据库镜像过来的数据。

这种方案中，无论是主数据库还是辅数据库，如果其中一个数据库出现故障，那么整个镜像系统就无法运行，只能等待该数据库恢复之后才能再进行镜像操作。同时，如果应对海量数据访问，集中式系统由于扩容不方便，很容易带来性能瓶颈，此时又需要加上额外的镜像操作，会给系统带来更大的压力。

发明内容

本申请的目的是，提供一种分布式数据镜像方法及存储数据节点，将利用分布式文件系统(Distributed File System，DFS)作为数据中心，数据中心中的任意存储数据节点都可以作为镜像系统中的数据主服务器，并且向备份数据中心DFS系统的任意存储数据节点进行镜像。

为实现上述目的，本申请提供了一种分布式数据镜像方法，该方法包括：

接收数据操作请求，对数据进行所述数据操作请求所对应的操作，且对所述数据进行所述数据操作请求相应的备份操作，并生成所述数据的逻辑文件名，其中，所述逻辑文件名包括文件区域信息；

生成包括所述数据的逻辑文件名、镜像策略和操作类型的镜像记录；

向所述文件区域信息确定的镜像目的分布式文件系统的主控节点，获取待镜像的目的数据存储节点地址的列表；

按照所述镜像策略，根据所述镜像记录中的所述操作类型，对所述数据，在所述列表中的所述目的数据存储节点地址所对应的目的数据存储节点上，进行所述数据操作请求相应的操作。

本申请还提供了一种存储数据节点，该存储数据节点包括：

请求处理单元，用于接收数据操作请求，将数据进行所述数据操作请求所对应的操作，并生成所述数据的逻辑文件名；

生成单元，用于生成包括所述数据的逻辑文件名、镜像策略和操作类型的镜像记录，其中所述逻辑文件名包括文件区域信息；

镜像地址获取单元，用于向所述文件区域信息确定的镜像目的分布式文件系统的主控节点，获取待镜像的目的数据存储节点地址的列表；

数据镜像单元，用于按照所述镜像策略，根据所述镜像记录中的所述操作类型，对所述数据在所述列表中的所述目的数据存储节点地址所对应的目的数据存储节点上进行所述数据操作请求相应的操作。

因此，本申请分布式数据镜像方法和存储数据节点，利用分布式文件系统DFS作为数据中心进行数据镜像，选择可用的存储数据节点来进行数据镜像，实现了镜像系统的高可靠性。

附图说明

图1为本申请分布式数据镜像方法所应用的分布式镜像系统的架构图。

图2为本申请分布式数据镜像方法一实施例的流程图。

图3为本申请分布式数据镜像方法另一实施例的流程图。

图4为本申请分布式数据镜像方法再一实施例的流程图。

图5为本申请分布式数据镜像方法又一实施例的流程图。

具体实施方式

下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。

本申请利用分布式文件系统(DFS)作为数据中心，分布式文件系统由多个存储数据节点(DataServer)和一个主控节点(NameServer)构成，分布式镜像系统由至少两个分布式文件系统构成，因此，一个数据中心DFS系统中的任意存储数据节点都可以作为镜像系统中的数据主服务器，向作为备份的多个数据中心DFS系统的任意存储数据节点进行镜像。

如图1所示，其为本申请分布式数据镜像方法所应用的分布式镜像系统的架构图。图中显示了该分布式镜像系统由两个数据中心DFS系统构成，数据中心A集群与另一个数据中心B集群之间进行客户端用户请求操作的数据镜像。每个DFS系统是由一个主控节点和N个存储数据节点组成，主控节点负责管理集群内的存储数据节点、数据、数据分布以及数据定位等。存储数据节点负责进行数据文件管理和数据镜像。存储数据节点时刻地监控它所在的存储数据节点的数据变化情况，一旦有变化就会发起相应的镜像操作。