[发明专利]用于测试的索引生成方法、装置、系统及可读存储介质

说明书

本申请公开一种用于搜索引擎测试的索引生成方法、装置、搜索引擎测试系统及可读存储介质。该方法包括：获取统一资源定位符列表；根据统一资源定位符列表，获得数据的标识码列表；以及根据数据的标识码列表，生成定制化索引。该方法能够在大幅降低索引大小的情况下，保证搜索引擎的测试指令，并为系统测试提供了条件。

技术领域

本发明涉及互联网技术领域，具体而言，涉及一种用于搜索引擎测试的索引生成方法、装置、搜索引擎测试系统及可读存储介质。

背景技术

随着电商平台系统中商品数量的日益增长，对搜索引擎的要求越来越高，需要开发新的搜索引擎或不断完善现有搜索引擎的功能，以适应平台中商品数量的不断增长。在新的搜索引擎或搜索引擎的新功能上线之前，需要对其进行测试，如冒烟测试、回归测试及系统测试等。

在现有的搜索引擎测试过程中，通常采用全量索引。全量索引包含了电商平台中所有商品数据，在测试时，将其全部加载到测试服务器的内存中。但该做法有如下缺陷：

第一，测试服务器启动加载索引的时间过长，无法保证冒烟测试和回归测试的速度；

第二，由于服务器启动时间过长，无法进行需要频繁重启搜索服务器的系统测试；

第三，由于全量索引过大，对测试服务器的内存配置要求高。

在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种用于搜索引擎测试的索引生成方法、装置、搜索引擎测试系统及可读存储介质，能够在大幅降低索引大小的情况下，保证搜索引擎的测试指令，并为系统测试提供了条件。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的一方面，提供一种用于搜索引擎测试的索引生成方法，包括：获取统一资源定位符列表；根据统一资源定位符列表，获得数据的标识码列表；以及根据数据的标识码列表，生成定制化索引。

根据本发明的一些实施例，获取统一资源定位符列表包括：提取搜索频率最高的若干搜索词；以及从若干搜索词中获取统一资源定位符列表。

根据本发明的一些实施例，获取统一资源定位符列表包括：根据搜索引擎测试需求，获取统一资源定位符列表。

根据本发明的一些实施例，数据包括商品数据，根据数据的标识码列表，生成定制化索引包括：获取数据的标识码列表中各商品数据的信息；根据各商品数据的信息中的分类，获取各商品数据的标签字段；以及根据各商品数据的信息及标签字段，生成定制化索引。

根据本发明的一些实施例，根据各商品数据的信息及标签字段，生成定制化索引包括：根据数据的标识码列表中各商品数据的标识码，将数据的标识码列表中所有商品数据划分为多个哈希分片，每个哈希分片包含数据的标识码列表中部分商品数据的标识码；将多个哈希分片分配到多个服务器中；在多个服务器中，分别根据所分配的哈希分片中的商品数据的信息及标签字段，生成多个部分索引；以及将多个部分索引中的商品数据进行排序，以生成定制化索引。

根据本发明的一些实施例，上述方法还包括：将定制化索引发送至搜索引擎的测试设备，以根据定制化索引对搜索引擎进行测试。

根据本发明的另一方面，提供一种用于搜索引擎测试的索引生成装置，包括：定位符列表获取模块，用于获取统一资源定位符列表；标识码列表获取模块，用于根据统一资源定位符列表，获得数据的标识码列表；以及定制化索引生成模块，用于根据数据的标识码列表，生成定制化索引。