[发明专利]基于内核旁路技术的Hadoop map-reduce计算加速方法

权利要求书

1.一种基于内核旁通技术的HadoopMap-Reduce计算加速方法，包括：

步骤一，在hadoop运算初始化阶段，检测分布式系统是否支持NVMe驱动，如果不支持，则使用标准hadoop的I/O模式；

步骤二，在map结果写入存储的过程中采用以SPDK实现的内核旁通数据读写机制,该实现无需修改代码；仅需将存储I/O的后端模块替换为以SPDK实现的支持内核旁通操作的实现；

步骤三，在shuffle过程分发数据时采用以DPDK实现的内核旁通网络I/O机制；

步骤四，在步骤二和三中，如果出现I/O错误，进行重试，重试次数取决于预设的阈值，超过重试次数后进入hadoop本身提供的I/O异常处理；

所述I/O异常处理包括：对SSD和IP网络的读写操作均在以C语言实现的 SPDK/DPDK函数库层实现，对于出现的I/O异常采用两层处理策略：在调用SPDK/DPDK函数库的C语言层面进行多次尝试，当试错超过预设的阈值时，将错误以Java异常的形式返回给Java操作层。

2.根据权利要求1所述的基于内核旁通技术的HadoopMap-Reduce计算加速方法，其特征在于建立一种高效的存储和网络I/O机制。

3.根据权利要求1所述的基于内核旁通技术的HadoopMap-Reduce计算加速方法，其特征在于建立一个以IntelNVMe驱动为基础的以内核旁通模式进行设备I/O的数据缓存和分发机制。

4.根据权利要求1所述的基于内核旁通技术的HadoopMap-Reduce计算加速方法，其特征在于以软件插件的方式对ApacheHadoop进行扩展。

5.根据权利要求1所述的基于内核旁通技术的HadoopMap-Reduce计算加速方法，其特征在于对I/O错误处理分两层，首先在驱动处理层进行试错，当试错次数超过预设阈值后返回Hadoop的基于Java的异常处理层。

6.根据权利要求5所述的基于内核旁通技术的HadoopMap-Reduce计算加速方法，其特征在于使用由Intel提供的开放源码的SPDK和DPDK函数库来实现I/O加速。

7.根据权利要求5所述的基于内核旁通技术的Hadoop Map-Reduce计算加速方法，其特征在于对Apache Hadoop的扩展采用了扩展软件接口实现的方式来加入对以Intel NVMe驱动为基础的以内核旁通模式进行设备I/O的支持。