[发明专利]一种适用于核外图处理系统的异步IO执行方法及系统

摘要

本发明公开了一种适用于核外图处理系统的异步IO执行方法及系统，属于大数据领域的图计算与处理技术领域，也可以用于其他数据存放在磁盘的迭代计算系统。其中，方法的实现包括：在图计算执行过程中，线程将从任务队列中获取的任务发送给异步IO库，而后异步IO库依据任务所需数据的存储情况，异步地发出数据的读取请求并加入到请求队列，然后请求队列对异步产生的读取请求进行排序合并，在相关数据读取完毕时，异步IO库执行对应任务，从而在执行层提高磁盘的访问效率，加快任务的执行速度。本发明能应用于基于磁盘的迭代计算系统，加快算法的执行速度，实用性强。

主权项

一种适用于核外图处理系统的异步IO执行方法，其特征在于，包括：(1)判断系统的任务队列是否为空，如果是，则执行步骤(8)，否则执行步骤(2)；(2)获取所述系统的任务队列中的目标任务，并判断所述目标任务所需数据是否都能直接访问，如果是，则执行步骤(7)，否则执行步骤(3)；(3)对所述目标任务所需的不能直接访问的数据生成读取请求，将所述读取请求加入异步IO库的请求队列，并将所述目标任务加入所述异步IO库的任务队列；(4)判断所述异步IO库的请求队列中的读取请求数是否大于预设阈值，如果是，则执行步骤(5)，否则执行步骤(1)；(5)按照各读取请求的文件偏移量和所需数据的字节数将所述异步IO库的请求队列中的读取请求加以排序合并；(6)响应排序合并后的读取请求，以获取排序合并后的各读取请求对应任务所需的数据；(7)执行所述目标任务或者执行所述异步IO库的任务队列的任务，然后执行步骤(1)；(8)判断所述异步IO库的请求队列是否为空，如果是，则执行步骤(9)，否则执行步骤(5)；(9)等待所述异步IO库中的所有任务执行完成，流程结束。