[发明专利]一种搜索引擎测试评价方法和装置

说明书

技术领域

本发明涉及网络搜索领域的搜索引擎评价技术，尤其涉及一种搜索引擎测试评价方法和装置。

背景技术

在搜索引擎中，需要对搜索引擎进行搜索质量评估。现有的搜索引擎评估方法包括Cranfield评价体系。在Cranfield评价体系中，需要人工测试后才可以评估出搜索引擎质量，并且如果要做到评价结果的准确，需要大量人工测试后得出结果才比较有可靠性，比较耗时耗力；对于Cranfield评价体系，如果要做到自动化测试，需要根据搜索词，人工确定搜索词的最相关集合，从而根据与最相关集合比较来进行自动化评测。因此，该方法中，最相关集合存在主观性，且需要人工调整、维护、更新，同时比较耗费人力，并且评价结果的准确性也会存在偏差。

发明内容

为解决上述技术问题，本发明实施例提供一种搜索引擎测试评价方法和装置，可以实现准确、高效的自动化测试。

本发明的技术方案是这样实现的：

本发明实施例提供一种搜索引擎测试评价装置，所述装置包括：确定单元、获取单元、处理单元，其中，

所述确定单元，用于根据预设模型和至少一个训练数据确定训练模型，所述训练数据包括：至少一个搜索词和与所述至少一个搜索词对应的至少一组搜索结果，每一个搜索词对应一组搜索结果；

所述获取单元，用于获取第一搜索词在第一搜索引擎的至少一个第一搜索结果；

所述处理单元，用于分别将所述至少一个第一搜索结果与所述第一搜索词在所述训练模型的相关性结果进行比较，获得所述至少一个第一搜索结果的至少一个相关度值；还用于通过预设测试评价算法分别对所述至少一个相关度值进行测试评价，获得所述第一搜索引擎的测试评价结果。

可选地，所述确定单元，用于根据至少一个用户的搜索数据确定至少一个训练数据；

所述处理单元，用于将所述至少一个训练数据进行整合处理，获得第一训练数据；还用于通过word2vec模型对所述第一训练数据进行训练，获得训练模型。

可选地，所述处理单元，用于对所述至少一个用户的搜索数据进行处理，获得第二搜索词、与所述第二搜索词对应第二搜索结果、和所述第二搜索结果中每一个搜索结果的点击次数，所述第二搜索词包括：至少一个搜索词，所述第二搜索结果包括：至少一组搜索结果，每一个搜索词对应一组搜索结果，每一组搜索结果包括至少一个搜索结果；还用于根据所述第二搜索结果中每一个搜索结果的点击次数将所述第二搜索词中所有相同的搜索词对应的搜索结果进行排列，还用于通过排列后的所述第二搜索结果和所述第二搜索词生成至少一个训练数据。

可选地，第三搜索词为所述第二搜索词中相同的搜索词，第三搜索结果为与第三搜索词对应的搜索结果；

所述处理单元，用于按照第三搜索结果中每一个搜索结果的点击次数从大到小进行排列所述第三搜索结果，还用于通过排列后的第三搜索结果和第三搜索词生成所述第二训练数据。

可选地，所述获取单元，用于获取所述至少一个用户的搜索数据，其中，用户的搜索数据包括：用户搜索与点击日志。

本发明实施例提供一种搜索引擎测试评价方法，所述方法包括：

根据预设模型和至少一个训练数据确定训练模型，所述训练数据包括：至少一个搜索词和与所述至少一个搜索词对应的至少一组搜索结果，每一个搜索词对应一组搜索结果；

获取第一搜索词在第一搜索引擎的至少一个第一搜索结果，分别将所述至少一个第一搜索结果与所述第一搜索词在所述训练模型的相关性结果进行比较，获得所述至少一个第一搜索结果的至少一个相关度值；

通过预设测试评价算法分别对所述至少一个相关度值进行测试评价，获得所述第一搜索引擎的测试评价结果。

可选地，所述根据预设模型和至少一个训练数据确定训练模型，包括：

根据至少一个用户的搜索数据确定至少一个训练数据；

将所述至少一个训练数据进行整合处理，获得第一训练数据；

通过word2vec模型对所述第一训练数据进行训练，获得训练模型。

可选地，所述根据至少一个用户的搜索数据确定至少一个训练数据，包括：

对所述至少一个用户的搜索数据进行处理，获得第二搜索词、与所述第二搜索词对应第二搜索结果、和所述第二搜索结果中每一个搜索结果的点击次数，所述第二搜索词包括：至少一个搜索词，所述第二搜索结果包括：至少一组搜索结果，每一个搜索词对应一组搜索结果，每一组搜索结果包括至少一个搜索结果；