[发明专利]归档数据的存储方法、系统、设备和介质

说明书

本发明特别涉及归档数据的存储方法、系统、设备和介质。本发明的方法包括：接收归档数据写入请求，以将所述归档数据分配到相应的二进制大对象，使得所述归档数据被写入同一磁盘组的一个或多个磁盘的区域数据区域的一个或多个区域中；接收二进制大对象密封请求，以密封相应的所述二进制大对象，使得写入的所述一个或多个区域的区域元数据被写入同一磁盘组的所述一个或多个磁盘的区域元数据区域中。本发明可以实现归档数据的大容量存储，具有高可靠与低成本的特性，与现有背景技术相比在存储成本、易用性、数据取回时限间达到了更好的平衡，同时取得了比现有背景技术数据更高的数据可靠性。

技术领域

本发明特别涉及归档数据的存储方法、系统、设备和介质。

背景技术

随着数据时代的到来，海量数据存储需求越来越大，这些数据中有很大比例属于访问频率较低的归档数据，此类数据的特征为：(1)单文件体积相对较大，部分原始数据本身就具有此特性，如视频监控数据，其他小文件在写入存储系统前一般也会进行聚合，压缩为单个大文件后再写入；(2)归档数据单次写入后不需要再次修改；(3)归档数据一般都需要长时间保存，且写入后读取频率较低；(4)对归档数据的取回时限容忍度相对较高，不过也存在少量需要能实时取回的需求。

针对此类归档数据的存储系统，目前业界的主流解决方案为磁带库或标准对象存储系统。

磁带库可提供极低的单位GB存储成本，然而磁带库存储系统存在以下缺陷：(1)初期建设成本过高，磁带库作为一套复杂存储系统，搭建一套最小单元的存储系统也需要一次性投入大量资金以购置整套专用硬件；(2)磁带库对机房空间、温湿度等有很高要求，过高或过低的温湿度均会导致磁带粘连，进而影响数据可用性及可靠性；(3)磁带库的软硬件架构不同于通用服务器，其软件研发及运维工作存在较大难度，易用性不佳；(4)磁带库对于响应实时读取请求存在较大困难与挑战，由于在一套完整的磁带库存储系统中，磁带机的数量是有限的，因此无法对所有磁带进行并行读写，故很难满足实时读取数据的需求。以上诸多因素使得磁带库无法得到大规模应用，也无法满足需要能实时取回的归档数据的存储需求。

除磁带库外，目前业界也会使用标准对象存储系统来保存归档数据，主流标准对象存储系统基于通用服务器搭建而成，该存储系统最终会将数据写入机械硬盘(HDD，HardDisk Drive)，并通过多副本技术实现数据的高可靠存储。使用标准对象存储系统来保存归档数据的主要缺陷在于其单位GB成本较高，具体原因如下：(1)单台通用服务器可连接的磁盘数量有限，一般在20余块盘以下，这就导致整个存储系统的磁盘密度受到制约；(2)存储系统中的CPU等计算资源与硬盘存储资源存在耦合关系，系统扩容时无法在不增加计算资源的情况下灵活地增加存储资源容量；(3)主流标准对象存储系统使用的多副本技术存在较大的空间浪费，以三副本为例，磁盘空间使用率仅为33％；(4)主流标准对象存储系统使用的硬盘为传统磁记录(CMR，Conventional Magnetic Recording)硬盘，此类硬盘与叠瓦式磁记录(SMR，Shingled Magnetic Recording)硬盘相比存储密度略低，因此单位GB成本高于SMR硬盘。

此外，无论是磁带库还是标准对象存储系统均无法很好地处理静默数据损坏(silent data corruption)问题，这对于需要长期保存的归档数据来说，存在较高的数据可靠性风险。

综上所述，已有技术均存在一定的缺陷，其无法完全满足归档数据的存储需求。

发明内容

本发明的目的在于提供归档数据的存储方法、系统、设备和介质，可以实现归档数据的大容量存储，具有高可靠与低成本的特性，与现有背景技术相比在存储成本、易用性、数据取回时限间达到了更好的平衡，同时取得了比现有背景技术数据更高的数据可靠性。

本发明公开了一种归档数据的存储方法，所述方法用于归档数据的存储系统，所述系统包括一个或多个磁盘簇，每个磁盘簇包括一个或多个磁盘，所有磁盘被划分为一个或多个磁盘组，每个磁盘包括区域数据区域和区域元数据区域，并且所述方法包括：