[发明专利]向量检索方法、装置和设备有效
申请号: | 201910490118.X | 申请日: | 2019-06-06 |
公开(公告)号: | CN110209895B | 公开(公告)日: | 2023-09-05 |
发明(设计)人: | 李涛;魏宏;方概;杨文 | 申请(专利权)人: | 创新先进技术有限公司 |
主分类号: | G06F16/903 | 分类号: | G06F16/903;G06F16/908;G06F16/901 |
代理公司: | 北京东方亿思知识产权代理有限责任公司 11258 | 代理人: | 贺琳 |
地址: | 开曼群岛大开曼岛*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 向量 检索 方法 装置 设备 | ||
1.一种向量检索方法,包括:
提取检索对象的特征向量;
从图形处理器GPU中获取与所述特征向量相似的向量,作为第一部分相似向量;
从中央处理器CPU中获取与所述特征向量相似的向量,作为第二部分相似向量;
根据所述第一部分相似向量和所述第二部分相似向量,确定所述检索对象的检索结果;
其中,所述第一部分相似向量,是从所述GPU预先加载的第一向量子集中获取的与所述特征向量相似的向量;
所述第二部分相似向量,是从所述CPU预先加载的第二向量子集中获取的与所述特征向量相似的向量;
所述第一向量子集和所述第二向量子集,是对指定的特征向量集合进行切分得到的;
所述切分是基于所述CPU对应的内存大小和所述GPU对应的显存大小进行的切分。
2.根据权利要求1所述的向量检索方法,其中,所述从图形处理器GPU中获取与所述特征向量相似的向量,作为第一部分相似向量,包括:
从所述GPU中选择一个或多个第一中心向量,所述一个或多个第一中心向量中的每个第一中心向量与所述特征向量满足第一预设相似度条件;
在所述每个第一中心向量所在的向量分组中,选择所述第一部分相似向量,所述第一部分相似向量与所述特征向量满足第二预设相似度条件。
3.根据权利要求2所述的向量检索方法,其中,
所述一个或多个第一中心向量,是通过检索预先建立的第一倒排索引数据得到的向量,所述第一倒排索引数据包括每个第一中心向量的索引地址;
所述第一部分相似向量,是通过检索预先建立的第一索引数据得到的向量,所述第一索引数据包括所述每个第一中心向量所在的向量分组中向量的索引地址,其中,所述每个向量分组中向量之间的索引地址不同。
4.根据权利要求1所述的向量检索方法,其中,所述从中央处理器CPU中获取与所述特征向量相似的向量,作为第二部分相似向量,包括:
从所述CPU中选择一个或多个第二中心向量,所述一个或多个第二中心向量中的每个第二中心向量满足第三预设相似度条件;
在所述每个第二中心向量所在的向量分组中,选择所述第二部分相似向量,所述第二部分相似向量与所述特征向量满足第四预设相似度条件。
5.根据权利要求4所述的向量检索方法,其中,
所述一个或多个第二中心向量,是通过检索预先建立的第二倒排索引数据得到的向量,所述第二倒排索引数据包括每个第二中心向量的索引地址;
所述第二部分相似向量,是通过检索预先建立的第二索引数据得到的向量,所述第二索引数据包括所述每个第二中心向量所在的向量分组中向量的索引地址,其中,所述每个向量分组中向量之间的索引地址不同。
6.根据权利要求1所述的向量检索方法,其中,
所述检索对象的检索结果,包括按照相似度由高到低,从所述第一部分相似向量和所述第二部分相似向量选择的指定个数的向量。
7.一种向量检索装置,其特征在于,所述向量检索装置包括:
向量提取模块,用于提取检索对象的特征向量;
第一检索模块,用于从图形处理器GPU中获取与所述特征向量相似的向量,作为第一部分相似向量;
第二检索模块,用于从中央处理器CPU中获取与所述特征向量相似的向量,作为第二部分相似向量;
结果确定模块,用于根据所述第一部分相似向量和所述第二部分相似向量,确定所述检索对象的检索结果;
其中,所述第一部分相似向量,是从所述GPU预先加载的第一向量子集中获取的与所述特征向量相似的向量;
所述第二部分相似向量,是从所述CPU预先加载的第二向量子集中获取的与所述特征向量相似的向量;
所述第一向量子集和所述第二向量子集,是对指定的特征向量集合进行切分得到的;
所述切分是基于所述CPU对应的内存大小和所述GPU对应的显存大小进行的切分。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于创新先进技术有限公司,未经创新先进技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910490118.X/1.html,转载请声明来源钻瓜专利网。