[发明专利]一种基于众包的空间检索词查询的评价方法和装置

权利要求书

1.一种基于众包的空间检索词查询的评价方法，其特征在于，包括：

根据第一排序算法获取针对查询条件的第一排序列表，根据第二排序算法获取针对所述查询条件的第二排序列表；

获取所述第一排序列表以及所述第二排序列表的元素集合，将所述元素集合中的任意两个元素进行配对得到多个元素对，并排除多个所述的元素对中重复的元素对；

将每个所述的元素对转化成二进制问题并发布到众包平台，所述二进制问题包括针对所述查询条件获取所述元素对中两个元素的排序顺序；

采集所述众包平台中所述二进制问题的答案，基于所述二进制问题的答案获取基于所述众包平台的数据的第三排序列表；

比较所述第一排序列表与所述第三排序列表之间的相似性、以及所述第二排序列表与所述第三排序列表之间的相似性，根据比较结果评价所述第一排序算法与所述第二排序算法。

2.根据权利要求1所述的基于众包的空间检索词查询的评价方法，其特征在于，所述将所述元素集合中的任意两个元素进行配对得到多个元素对，并排除多个所述的元素对中重复的元素对之后，还包括：

衡量所述第一排序列表与所述第二排序列表的相似性，排除在所述第一排序列表与所述第二排序列表中具有相同排序顺序的元素对；

针对所述查询条件采用机器学习排序的方式获取参考排序列表，基于所述参考排序列表计算所述元素集合中元素的熵值，排除熵值小的元素所对应的元素对。

3.根据权利要求1所述的基于众包的空间检索词查询的评价方法，其特征在于，所述采集所述众包平台中所述二进制问题的答案，基于所述二进制问题的答案获取基于所述众包平台的数据的第三排序列表，包括：

采集全部的所述众包平台中所述二进制问题的答案，获得有序对集合；所述有序对集合中的元素表示所述元素对中两个元素的排序顺序；

根据所述元素在一个所述的元素对中的排序顺序，计算所述元素的第一评分，具体计算公式如下：

a_i表示所述元素集合l₁＝{a₁,a₂,…a_p}中的第i个元素，p表示元素集合中的元素总数；I(a_i)为示性函数，表示了元素对中两个元素的排序顺序；

l(a_i)＞l(x)表示在所述元素对中元素a_i的排序顺序在元素x之前；S(a_i)表示元素a_i的第一评分；

计算所述元素在所述有序对集合中的第一评分之和，得到第二评分；

将所述元素按照第二评分由大到小排列，得到所述第三排序列表。

4.根据权利要求1所述的基于众包的空间检索词查询的评价方法，其特征在于，所述比较所述第一排序列表与所述第三排序列表之间的相似性、以及所述第二排序列表与所述第三排序列表之间的相似性，包括：

计算所述第一排序列表与所述第三排序列表的第一相似性系数；

计算所述第二排序列表与所述第三排序列表的第二相似性系数；

比较所述第一相似性系数与所述第二相似性系数的大小，从而判断所述第一排序列表与所述第三排序列表之间的相似性、所述第二排序列表与所述第三排序列表之间的相似性之间的关系。

5.根据权利要求1-4任意一项所述的基于众包的空间检索词查询的评价方法，其特征在于，还包括：

创建一个查询集合，所述查询集合的每个元素表示一个所述的查询条件；

针对所述查询集合的每个所述的查询条件获取所述第一排序算法与所述第二排序算法的优劣性；

针对所述查询集合采用聚合策略计算所述第一排序算法与所述第二排序算法的聚合分数；比较所述第一排序算法与所述第二排序算法的聚合分数；若所述第一排序算法的聚合分数大于所述第二排序算法的聚合分数，则针对所述查询集合所述第一排序算法优于所述第二排序算法；反之，所述第二排序算法优于所述第一排序算法。