[发明专利]一种数据写入方法和装置

说明书

本申请实施例提供了一种数据写入方法和装置，方法包括：获取待存储数据块；基于HDD池的第一数据布局策略，从HDD池中依次确定待存储数据块所属的数据管理组对应的第一数目个第一OSD，得到OSD集合；基于缓存池的第二数据布局策略，确定OSD集合中前第二数目个第一OSD所属的备选存储节点；针对每一备选存储节点，从该备选存储节点包含的属于缓存池的OSD中，确定待存储数据块所属的数据管理组对应的第二OSD；在该备选存储节点本地的第二OSD写入待存储数据块中的数据后，通过该备选存储节点本地的第二OSD，将待存储数据块中的数据写入该备选存储节点本地的第一OSD，能够提高数据存储系统的整体性能。

技术领域

本申请涉及数据存储技术领域，特别是涉及一种数据写入方法和装置。

背景技术

随着云计算和大数据的发展，数据呈爆炸式增长，为了满足数据存储需求，基于软件定义存储(Software Defined Storage，SDS)的数据存储系统应运而生。相关技术中，可以将待存储的原始文件切割成定长的数据块。针对每一数据块，可以将该数据块映射到一个数据管理组，进而，可以根据预设的数据布局策略(例如，多副本策略或纠删码策略)，确定该数据管理组对应的多个存储设备，相应的，可以将该数据块写入到确定出的多个存储设备。

另外，为了减小数据写入时延，数据存储系统中的OSD(Object Storage Device，对象存储设备)可以划分为缓存池和HDD(硬盘驱动器，Hard Disk Drive)池。缓存池用于暂存数据，数据最终会写入到HDD池。参见图1，数据存储系统可以包含多个存储节点，每一存储节点包含多个OSD，图1中以0-71为序号对各OSD进行标记。针对三副本策略，主机在获取到待存储的数据块后，可以将该数据块通过交换机发送至数据存储系统中的一个指定存储节点(例如，存储节点4)。

存储节点4则可以从缓存池中依次确定出该数据块所属的数据管理组对应的3个OSD(例如，OSD54、OSD1和OSD18)，其中，OSD54为主OSD，OSD1和OSD18为从OSD。进而，存储节点4可以将该数据块写入OSD54，并由OSD54通过交换机将该数据块分别写入OSD1和OSD18。然后，OSD54可以从HDD池中依次确定出该数据块所属的数据管理组对应的3个OSD(例如，OSD28、OSD46和OSD11)，其中，OSD28为主OSD，OSD46和OSD11为从OSD。进而，OSD54可以将该数据块写入OSD28，并由OSD28通过交换机将该数据块分别写入OSD46和OSD11，完成该数据块的写入。

可见，针对同一数据块，该数据块在缓存池中对应的OSD所在的存储节点，与该数据块在HDD池中对应的OSD所在的存储节点很大程度上不完全相同，也就是说，上述数据写入过程中，存在较多的跨存储节点的数据写入次数，导致数据写入耗费大量的网络带宽，且会增大数据写入的时延，降低数据存储系统的整体性能。

发明内容

本申请实施例的目的在于提供一种数据写入方法和装置，能够降低数据写入耗费的网络带宽，且降低数据写入的时延，进而，提高数据存储系统的整体性能。具体技术方案如下：

第一方面，为了达到上述目的，本申请实施例公开了一种数据写入方法，所述方法应用于数据存储系统，所述数据存储系统包含多个存储节点，每一所述存储节点包含缓存池中的对象存储设备OSD和硬盘驱动器HDD池中的OSD，所述方法包括：

获取待存储数据块；

基于所述HDD池的第一数据布局策略，从所述HDD池中依次确定所述待存储数据块所属的数据管理组对应的第一数目个第一OSD，得到OSD集合；

基于所述缓存池的第二数据布局策略，确定所述OSD集合中前第二数目个第一OSD所属的存储节点，作为备选存储节点；

针对每一所述备选存储节点，从该备选存储节点包含的属于所述缓存池的OSD中，确定所述待存储数据块所属的数据管理组对应的第二OSD；