[发明专利]一种数据IO的处理方法、装置、存储介质及设备

说明书

本发明提供了一种数据IO的处理方法、装置、存储介质及设备，方法包括以下步骤：获取请求操作处理的由若干基础数据块顺序组成的数据；将数据以预设的分割单元为单位依次进行分组，以顺序得到若干分割数据块；依次处理并判断各分割数据块中是否有基于前序基础数据块操作处理完成的时间的时延统计记录；响应于有分割数据块中有时延统计记录，根据时延统计记录设置等待时间段；将分割数据块中未进行操作处理的基础数据块在等待时间段内依次合并，直到等待时间段结束或等待时间段未结束但合并的基础数据块达到了分割单元大小，停止合并；将合并的基础数据块发送并进行操作处理。本发明有效减少了数据IO的时间，提高了存储系统的性能。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据IO的处理方法、装置、存储介质及设备。

背景技术

基于分布式存储对接场景的不断丰富，针对不同的业务模型，对产品性能也有不同的要求。在分布式存储系统中，根据我们的数据离散算法，随机数据可以分散到不同节点的不同磁盘上并发地进行操作。在数据顺序IO场景下，由于我们的算法有最小的分割单元，当数据块大小小于最小的分割单元时，连续的数据块需要操作同一个分割单元，即对应底层的同一块磁盘，因此无法并发进行操作，导致系统性能不能充分地发挥，影响用户体验。目前分布式块存储普遍承载的是客户虚拟机系统盘资源，系统延迟过高，可能会造成操作系统不稳定，影响客户业务，因此，加快系统响应速度，对于提高系统性能、增强系统稳定性以及提高产品竞争力具有重要意义。

发明内容

有鉴于此，本发明的目的在于提出一种数据IO的处理方法、装置、存储介质及设备，用以提高分布式块存储系统的性能。

基于上述目的，本发明提供了一种数据IO的处理方法，包括如下步骤：

获取请求操作处理的由若干基础数据块顺序组成的数据；

将数据以预设的分割单元为单位依次进行分组，以顺序得到若干分割数据块；

依次处理并判断各分割数据块中是否有基于前序基础数据块操作处理完成的时间的时延统计记录；

响应于有分割数据块中有时延统计记录，根据时延统计记录设置等待时间段；

将分割数据块中未进行操作处理的基础数据块在等待时间段内依次合并，直到等待时间段结束或等待时间段未结束但合并的基础数据块达到了分割单元大小，停止合并；

将合并的基础数据块发送并进行操作处理。

在一些实施例中，依次处理并判断各分割数据块中是否有基于前序基础数据块操作处理完成的时间的时延统计记录包括：

判断第一个分割数据块中是否有基于前若干个基础数据块操作处理完成的时间的时延统计记录；

判断第n个分割数据块中是否有基于第n个分割数据块和/或前n-1个分割数据块中的基础数据块操作处理完成的时间的时延统计记录，其中，n为大于1的整数。

在一些实施例中，时延统计记录为若干前序基础数据块操作处理完成的平均时间。

在一些实施例中，将分割数据块中未进行操作处理的基础数据块在等待时间段内依次合并，直到等待时间段结束或等待时间段未结束但合并的基础数据块达到了分割单元大小，停止合并包括：

若分割数据块是第一个分割数据块，将第一个分割数据块中未进行操作处理的基础数据块在等待时间段内依次合并，直到等待时间段结束，停止合并；

若分割数据块是第n个分割数据块，将第n个分割数据块中未进行操作处理的基础数据块在等待时间段内依次合并，直到等待时间段结束或等待时间段未结束但合并的基础数据块达到了分割单元大小，停止合并，其中，n为大于1的整数。