[发明专利]一种信息上报方法、装置及数据节点服务器

说明书

技术领域

本发明涉及通信技术领域，尤其涉及一种信息上报方法、装置及数据节点服务器。

背景技术

分布式对象文件系统用于管理海量存储资源，提供高速、稳定、线性扩展的服务。在分布式对象文件系统中，将每一个文件分为多个对象(Object)，每个对象再划分为N个数据块(Block)，这N个数据块分别存储于N个互不相同的数据节点服务器上。

分布式文件系统的结构如图1所示。其中，数据节点服务器(简称Data Node)用于存储数据块，以及这些数据块的元数据信息。元数据服务器(简称Metadata Server，MDS)用于存储数据库的元数据信息，所述元数据信息即用于描述数据块的信息，具体包括：数据块的大小、数据块的索引以及数据块的偏移量之类的信息。

现有的分布式文件系统中，当数据节点服务器向元数据服务器注册时，为保证数据节点服务器和元数据服务器之间的数据块的元数据信息一致，数据节点服务器需将位于该数据节点服务器的所有数据块的元数据信息完全同步至元数据服务器，即数据节点服务器向元数据服务器进行数据块的元数据信息的全量上报。

当数据节点服务器向元数据服务器注册时，需要向元数据服务器上报数据节点服务器上所有数据块对应的元数据信息，由于每个数据节点服务器上都存储着大量元数据信息，因此，当同时有较多的数据节点服务器向元数据服务器注册，或者数据节点服务器频繁的向元数据服务器注册，会进行大量的元数据信息的同步。

当元数据服务器启动或者主、备元数据服务器进行主备切换时，与元数据服务器关联的数据节点服务器会统一向元数据服务器发起注册，由于网络负载和元数据服务器处理的巨大压力，元数据信息同步将会耗费较长的时间，并且，在元数据信息同步完成之前，元数据服务器无法向外界提供基础的读写服务。

当数据节点服务器与元数据服务器上存储的数据块的元数据信息不一致时，元数据服务器需要对数据块的元数据信息进行大量的比对，以维护数据块的元数据信息的一致性，大量的元数据信息同步也会给元数据服务器的CPU、内存带来极大负担。其中，关于元数据服务器对数据块的元数据信息进行大量的比对，例如：数据节点服务器下线，然后拔掉数据节点服务器的磁盘，这样使得在数据节点服务器上，数据块的元数据信息有可能会丢失。但是，在元数据服务器上，数据块的元数据信息还是完整的。因此，需要进行数据块的元数据信息的比对，即比对所有数据节点服务器上的数据块的元数据信息和元数据服务器上存储的数据块的元数据信息是否一致。如果不一致，则会进行数据块的恢复操作或者删除操作。

另外，数据节点服务器向元数据服务器注册时，大量的元数据信息同步极大的增加了网络负担，且数据节点服务器可能因为网络负载过高，与元数据服务器短暂的失去网络连接。当数据节点服务器与元数据服务器网络重新连接时，将重新向元数据服务器注册，再次对该数据节点服务器上所有的数据块对应的元数据信息进行全量上报，将会进一步加大网络负载，引起数据节点服务器超时下线。这样，将会导致恶性循环。

综上所述，现有技术中数据节点服务器与元数据服务器之间同步元数据信息所需时间较长，并且大量元数据信息上报会给元数据服务器带来巨大负担，也会使得整个网络负载过大。

发明内容

本发明实施例提供了一种信息上报的方法、装置及数据节点服务器，用以降低数据节点服务器与元数据服务器之间同步元数据信息的延时，以及降低大量元数据信息上报给元数据服务器带来的负担。

本发明实施例提供的一种信息上报的方法，应用于分布式对象文件系统中，该系统包括数据节点服务器和元数据服务器，该方法包括：

数据节点服务器当需要向元数据服务器上报数据块的元数据信息时，确定需要向元数据服务器上报的数据块的元数据信息；其中，若所述数据节点服务器是首次需要向所述元数据服务器上报数据块的元数据信息，则所述需要上报的数据块的元数据信息包括该数据节点服务器中所有数据块的元数据信息，若所述数据节点服务器不是首次需要向所述元数据服务器上报数据块的元数据信息，则所述需要上报的数据块的元数据信息包括该数据节点服务器中未上报元数据服务器的数据块的元数据信息；

数据节点服务器将所述需要上报的数据块的元数据信息上报给元数据服务器。

通过该方法，数据节点服务器选择性的向元数据服务器上报元数据信息，从而降低大量元数据信息上报给元数据服务器带来的负担，以及降低数据节点服务器与元数据服务器之间同步元数据信息的延时。