[发明专利]一种分布式向量检索系统及方法

说明书

本发明实施例公开了一种分布式向量检索系统，包括：主节点组，包括多个主节点，一个为领导节点，领导节点将索引表分片分配至指定向量节点组，领导节点将其数据同步至其他主节点；多个向量节点组，每个向量节点组包括多个向量节点，每个向量节点存储向量数据及索引表分片，各个向量节点响应来自路由节点的请求，并检索数据或同步数据；路由节点组，包括多个路由节点，各个路由节点将请求发送至对应向量节点组，并将检索结果合并返回；索引数据维护工具，根据请求将索引向量数据写入索引消息队列，根据消息类型调用路由节点。本发明实施例还公开了一种分布式向量检索方法。本发明在高并发访问情况下，能够确保离线和在线索引数据的一致更新。

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种分布式向量检索系统及方法。

背景技术

现有技术中的分布式向量检索系统，在高并发访问时，响应时间较为缓慢，或是存在宕机的情况，无法对在线的实时索引向量数据和离线的批量索引向量数据进行一致更新，导致索引向量数据不一致，影响检索系统的可靠性。

发明内容

为解决上述问题，本发明的目的在于提供一种分布式向量检索系统及方法，在高并发访问情况下，能够确保离线和在线索引向量数据的一致更新。

本发明实施例提供了一种分布式向量检索系统，所述系统包括：

主节点组，包括多个主节点，其中一个主节点作为领导节点，所述领导节点将向量数据的索引表分片分配至指定向量节点组的各个向量节点上，所述领导节点将其节点数据同步至其他主节点；

多个向量节点组，每个向量节点组包括多个向量节点，每个向量节点存储有向量数据以及向量数据对应的索引表分片，向量节点组中的各个向量节点响应来自路由节点的检索请求或创建索引请求，并根据所述检索请求检索数据或根据所述创建索引请求同步数据，其中，所述同步数据包括创建索引表或更新索引表；

路由节点组，包括多个路由节点，各个路由节点将客户端发送的检索请求或创建索引请求发送至对应的向量节点组，并将向量节点组中的各个向量节点的检索结果合并后返回至客户端；

索引数据维护工具，根据客户端的创建索引请求，将索引向量数据写入索引消息队列，并根据索引消息的类型调用路由节点，以使所述路由节点将所述创建索引请求发送至对应的向量节点组，实现在线向量数据和离线向量数据的一致更新，其中，所述索引向量数据包括在线向量数据和离线向量数据。

作为本发明进一步的改进，所述根据索引消息的类型调用路由节点，以使所述路由节点将所述创建索引请求发送至对应的向量节点组，实现在线向量数据和离线向量数据的一致更新，包括：

所述索引数据维护工具在接收到实时索引消息时，从所述索引消息队列中解析出实时索引消息，调用所述路由节点将所述实时索引消息发送至对应的向量节点组，以使所述对应的向量节点组根据所述实时索引消息创建索引表或更新索引表；

所述索引数据维护工具在接收到离线索引消息时，从所述领导节点中获取索引表离线命名空间并清空历史版本数据，调用所述路由节点将所述离线索引消息发送至对应的向量节点组，以使所述对应的向量节点组根据所述离线索引消息创建索引表或更新索引表，在索引表创建或更新完成后，调用所述领导节点，以使所述领导节点将离线命名空间切换成在线命名空间。

作为本发明进一步的改进，所述在线命名空间和所述离线命名空间分别表示一个数据集，所述数据集包括向量节点组、索引表名称、向量节点组中的最小节点数、分片数、副本分片数、相似度计算方法和索引字段，

其中，索引表名称具有别名，以使客户端能根据所述别名访问所述在线命名空间或所述离线命名空间。

作为本发明进一步的改进，每个向量节点上存储的索引表分片包括主分片和副本分片，