[发明专利]一种基于GPU的大数据快速检索系统及其使用方法

说明书

本发明涉及数据检索技术领域，公开了一种基于GPU大数据快速检索系统及其使用方法，包括多个分布式数据库节点，用于存储数据；GPU模块，连接于每个分布式数据库节点，GPU模块包括GPU任务判断模块、任务创建模块、GPU数据广播模块、通用并行架构模块和GPU运行模块；GPU任务判断模块用于判断查询请求是否能完全或部分运行；任务创建模块用于创建需运行的查询任务；通用并行架构模块用于协调多个查询任务同时运行；GPU运行模块运行查询任务并返回数据。本发明能够使用相对成本较低的GPU硬件辅助计算，处理一般查询、对查询性能要求不高的操作时使用传统CPU运算，能够提供超越纯CPU架构的大数据平台的超高算力。

技术领域

本发明涉及数据检索技术领域，尤其涉及了一种基于GPU大数据快速检索系统及其使用方法。

背景技术

传统的大数据平台，对大规模数据量的计算分析能力较弱，满足不了大数据领域的实时数据计算需求，大数据平台虽然采用了分布式的集群存储和计算架构，能够将计算任务分散到多个处理计算节点并行运算以提高计算速度与分析能力，解决了大规模数据的处理需求，但计算速度与分析性能受限于计算节点的硬件性能，无法实现大数据的实时处理。

在处理大规模数据的查询分析时，对硬件尤其是CPU的处理性能要求极高，造成了大数据技术架构高昂的硬件成本，在处理一般查询时，高配置的CPU查询又不能够发挥全部的硬件优势，造成算力闲置现象。

发明内容

本发明针对现有技术中硬件要求高、处理效率差的缺点，提供了一种基于GPU大数据快速检索系统及其使用方法。

为了解决上述技术问题，本发明通过下述技术方案得以解决

一种基于GPU的大数据快速检索系统，包括：

分布式数据存储模块，包括多个分布式数据库节点，用于存储数据；

多个GPU模块，连接于每个分布式数据库节点，GPU模块包括GPU任务判断模块、任务创建模块、GPU数据广播模块、通用并行架构模块和GPU运行模块；GPU任务判断模块用于判断查询请求是否能完全或部分运行；任务创建模块用于创建需运行的查询任务；GPU数据广播模块，用于对多个GPU模块之间建立数据广播链路并同步数据传输消息；通用并行架构模块用于协调多个查询任务同时运行；GPU运行模块运行查询任务并返回数据。

作为优选，任务创建模块中，创建运行任务过程包括创建GPU本地二进制文件的源代码，在执行阶段前启动即时编译进程。

作为优选，GPU运行模块中，运行过程包括提取数据行集装载入直接存储器存储缓存并异步启动存储器传输和GPU内核执行。

作为优选，分布式数据库节点输出的数据为列式存储数据表。

作为优选，GPU运行模块中，还包括过滤、聚合和分组三种处理方式。

作为优选，GPU任务判断模块包括GPU处理器和CPU处理器，用于分配任务、判断运行成本和判断运行任务量。

作为优选，GPU数据广播模块运行过程为在数据发送GPU模块和数据接受GPU模块之间建立广播数据传输链路，同时对余下的GPU模块均与数据发送GPU模块生成转发树，通过转发树对数据传输消息进行发送。

一种基于GPU的大数据快速检索系统的使用方法，包括如下步骤：

（1）获取检索任务，系统调用GPU任务判断模块对给定查询是否可以在GPU上执行进行判断，判断过程包括：对任务量的是否能在GPU模块运行判断和对是否小于CPU处理器运行成本的判断，如判断结果都为是，则返回结果可以运行，则进入下一步，如不可以运行则跳出；

（2）判断任务是否可以在计算场景执行，如可以则调用GPU创建模块在运行中创建GPU本地二进制文件的源代码，在执行阶段前启动即时编译进程生成GPU可执行程序；