[发明专利]一种基于异构计算的用户特征快速检索方法

说明书

本发明涉及大数据检索技术领域，公开了一种基于异构计算的用户特征快速检索方法，其通过对待检索数据进行缓存，将缓存的待检索数据转换成对应的特征向量，获取检索库中的数据向量，将数据向量与特征向量分配至多个线程中，将每个线程分配得到的数据向量与特征向量加载至CPU缓存，为每个线程分配一个堆，将所述数据向量与特征向量进行相似度检索，根据数据向量的数量确定检索模式，将检索的数据向量结果赋值到对应的线程的堆上，合并每个线程的堆，得到最终的检索结果，从而利用CPU缓存优势以及GPU高效计算优势，协调异构资源之间通讯和计算的平衡，提高了异构特性数据检索速度和效率，降低了计算资源浪费。

技术领域

本发明涉及大数据检索技术领域，尤其涉及一种基于异构计算的用户特征快速检索方法。

背景技术

随着电网智能化水平的提升，电网中投入了越来越多智能测量设备，存积了大量复杂的负荷数据，这对电力负荷量测数据进行聚类分析显得尤为重要，它是我们整个电力系统电力建模，需求侧管理，乃至整体规划等工作的基石，对电力系统安全，经济，稳定运行具有重大意义。

因此，需要对大量复杂的负荷数据进行处理，挖掘其中的有效信息为电网正常运行提供支撑。电网系统规划、负荷预测、需求侧管理、分时电价、负荷建模等问题的前期处理都需要以负荷聚类为基础。对用户侧的负荷聚类分析可以提取出用户的用电习惯及用电模式，精确把握用户用电规律，从而优化电力调度，调控整个电网的运行。

目前的用户负荷特征检索技术主要采用CPU处理器通过多线程并行计算，比如使用并行计算框架OpenMpi等，而在新型电力系统中，针对异构计算环境下的大数据高纬度用户特征向量检索，并没有考虑到计算资源异构特性，也未针对异构特性进行高效的检索优化，导致检索速度慢，效率低，计算资源浪费严重。

发明内容

本发明提供了一种基于异构计算的用户特征快速检索方法，解决了异构特性数据检索速度慢，效率低，计算资源浪费严重的技术问题。

有鉴于此，本发明提供了一种基于异构计算的用户特征快速检索方法，包括以下步骤：

对待检索数据进行缓存，当缓存的待检索数据的数量或缓存时间达到预定的要求时，则将缓存的待检索数据转换成对应的特征向量；

获取检索库中的数据向量，将多个所述数据向量与特征向量分配至多个线程中，将每个线程分配得到的所述数据向量与特征向量加载至CPU缓存；

为每个线程分配一个堆，将所述数据向量与特征向量进行相似度检索，并根据所述数据向量的数量确定检索模式，其中，若数据向量的数量大于预设的数量时，则检索模式为使用GPU进行检索，若数据向量的数量不大于预设的数量时，则检索模式为使用CPU和GPU进行协同检索，并将检索的数据向量结果赋值到对应的线程的堆上；

赋值完成后，合并每个线程的堆，得到最终的检索结果。

优选地，对待检索数据进行缓存，当缓存的待检索数据的数量或缓存时间达到预定的要求时，则将缓存的待检索数据转换成对应的特征向量的步骤具体包括：

当收到检索请求时，依次对待检索数据进行缓存；

统计放入缓存中的待检索数据的数量，并开启定时器开始计时；

当定时器到达预设时长时，则停止将待检索数据放入缓存，将缓存的待检索数据转换成对应的特征向量；

或，当缓存中待检索数据的数量达到预设的数量阈值时，停止将待检索数据放入缓存，将缓存的待检索数据转换成对应的特征向量。

优选地，本方法还包括：

在线程创建过程中，通过下式计算特征向量的批处理大小为：

s =[L3 cache size – P/c * sizeof(float)] / [d * sizeof(float)]