[发明专利]一种数据相关性序列化IO的并行处理方法

摘要

本发明提供一种数据相关性序列化IO的并行处理方法，利用存储系统空闲运算和IO资源，通过采样动态调整的方式实现存储系统数据持续并行化处理，在并行化处理的过程中，根据应用特点，分别对读操作采样、写操作采样和读写采样，数据相关性通过对数据读写IO采样统计得出，通过将序列化IO动态散列到系统中，实现系统读写的并行化；本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。

主权项

一种数据相关性序列化IO的并行处理方法, 其特征在于利用存储系统空闲运算和IO资源，通过采样动态调整的方式实现存储系统数据持续并行化处理，在并行化处理的过程中，根据应用特点，分别对读操作采样、写操作采样和读写采样，数据相关性通过对数据读写IO采样统计得出，通过将序列化IO动态散列到系统中，实现系统读写的并行化；系统数据组织方式包括：数据IO请求需指定请求设备、请求起始位置、请求结束位置；请求设备是物理设备或是逻辑上与物理设备具有一定对应关系的设备，根据对应关系对索引数据进行描述；请求起始位置和请求结束位置，决定了请求的具体数据，包括读数据和写数据，在实际应用环境中，每次请求是不定长的，将不定长的数据切成定长的数据，定长的数据称作物理块，所述物理块用映射对象表示，该映射对象描述了逻辑地址、物理地址、物理磁盘的信息，映射对象用于所述数据IO请求的逻辑地址和物理地址相互转化，由于，映射对象需要进行频繁查询，所以期望采用哈希数据结构进行索引，并存储于存储介质中；逻辑上，系统包括时钟发生器、IO采样、定长IO序列并行化、数据迁移各个组件，各个组件共同协调完成IO采样及动态调整，实现并行化的动作，时钟发生器是周期激发IO采样并进行并行化处理的装置；IO采样用于从IO读写流程中无损性能的获取一定周期内、连续的定长IO序列；定长IO序列并行化用于对采样的数据进行离线的并行化调整；数据迁移用于对并行化处理的结构作用于具体的数据存储；序列化的具体处理流程如下：流程101：时钟发生器激发序列IO采样，激发频率对正常IO流的性能有一定影响，期望是，激发的IO并行化操作与当前业务IO资源需求之和小于系统所提供的最大资源空间，所述资源包括系统的总线资源、计算资源、存储资源；流程102：IO采样模块从当前IO队列中顺序截取IO请求；流程103：IO采样模块将IO请求格式化成等长块结构，将IO请求由变长转化为定长，并存储到本次采样队列中；流程104：采样数据中是否有对同一磁盘的请求，流程的判断方法是查询流程中映射对象的物理磁盘域；流程105：与上次采样队列中进行位置互换，互换的目的是转换序列化IO的处理位置，即将作用于同一物理磁盘IO通过存储位置互换，使其散列到不同的磁盘，以实现序列IO的并行化，在转换时，同时要确保上一采样队列不会造成并行并串行的情况；流程106：完成数据空间迁移，即完成实际存储空间的转移。