[发明专利]向量数据处理方法、装置、设备及存储介质

说明书

本申请实施例公开了一种向量数据处理方法、装置、设备及存储介质。该方法包括：确定随机存取存储器中存储的向量数据簇和特征分类索引的占用空间；若所述占用空间达到随机存取存储器的预设容量阈值，则从所述向量数据簇中选取预设数量的目标向量数据簇；其中，预设数量的目标向量数据簇占用空间小于所述预设容量阈值；若检测到目标向量数据簇的转移触发事件，则将所述目标向量数据簇转移至只读存储器中。上述方案能够是随机存取存储器满足对向量数据簇和特征分类索引的存储要求，并且使随机存取存储器能够有效地发挥优势，根据存储的数据实现快速高效地运行。

技术领域

本申请实施例涉及数据处理技术领域，尤其涉及一种向量数据处理方法、装置、设备及存储介质。

背景技术

随着人工智能技术的发展和落地，越来越多不易描述的数据被通过以特征向量数据的方式进行描述和计算，比如文本、声音、外貌等等，当这些海量的特征数据汇聚在一起时，如何快速准确的找到相同或者相似的数据成为了亟待解决的问题。

目前，将所有数据存储在RAM中的方案，检索速度较快，但是RAM的单位存储成本远高于ROM，且受制于内存通道和单内存最大容量的限制，最大存储容量受限。而且，RAM存储的同时还需要等量空间的ROM做持久化存储，占用双倍的存储空间。将所有数据存储于ROM中的方案，数据从ROM加载到RAM的过程非常耗时，尤其是当数据量很大的时候，这个问题会越来越凸显。以512维的向量为例，1000万的512维向量需要4*512*1000*10000＝20GB左右存储空间，以当前7200转硬盘的理论读写速度190MB/s来计算，需要105秒左右，以SSD硬盘的速度500MB/s来计算，也需要40秒，耗时较长。

发明内容

本发明实施例提供一种向量数据处理方法、装置、设备及存储介质，以在满足大量向量数据存储的同时实现快速检索。

在一个实施例中，本申请实施例提供了一种向量数据处理方法，该方法包括：

确定随机存取存储器中存储的向量数据簇和特征分类索引的占用空间；

若所述占用空间达到随机存取存储器的预设容量阈值，则从所述向量数据簇中选取预设数量的目标向量数据簇；其中，预设数量的目标向量数据簇占用空间小于所述预设容量阈值；

若检测到目标向量数据簇的转移触发事件，则将所述目标向量数据簇转移至只读存储器中。

在另一个实施例中，本申请实施例还提供了一种向量数据处理装置，该装置包括：

占用空间确定模块，用于确定随机存取存储器中存储的向量数据簇和特征分类索引的占用空间；

目标向量数据簇选取模块，用于若所述占用空间达到随机存取存储器的预设容量阈值，则从所述向量数据簇中选取预设数量的目标向量数据簇；其中，预设数量的目标向量数据簇占用空间小于所述预设容量阈值；

转移模块，用于若检测到目标向量数据簇的转移触发事件，则将所述目标向量数据簇转移至只读存储器中。

在又一个实施例中，本申请实施例还提供了一种向量数据处理设备，包括：一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请实施例任一项所述的向量数据处理方法。

在再一个实施例中，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例中任一项所述的向量数据处理方法。