[发明专利]一种搜索质量实时评估方法、装置、设备及存储介质

权利要求书

1.一种搜索质量实时评估装置，其特征在于，包括：

商品样本池构建模块，用于基于各预设搜索词汇以及与各所述预设搜索词汇对应的预测类目和实体识别结果进行线上搜索，确定出第一预设数量的正样本以及第二预设数量的负样本，以得到相应的目标商品样本池；

搜索词汇路由模块，用于获取用户当前输入的目标搜索词汇，判断所述目标搜索词汇是否属于所述预设搜索词汇，如果是则将所述目标搜索词汇路由至所述目标商品样本池以在所述目标商品样本池中执行相应的搜索操作；

搜索数据上传模块，用于在执行所述搜索操作时，基于预设埋点触发将各搜索阶段的明细数据通过消息队列异步存入预设持久化数据库的步骤；

搜索质量评估模块，用于基于已存入所述预设持久化数据库中的所述明细数据以及各预设质量指标计算公式确定相应的质量评估结果。

2.根据权利要求1所述的搜索质量实时评估装置，其特征在于，还包括：

评估结果展示模块，用于基于已存入所述预设持久化数据库中的所述明细数据生成相应的搜索质量评估报表；其中，所述搜索质量评估报表包括搜索准确性趋势报表、搜索性能趋势报表以及搜索多样性趋势报表。

3.根据权利要求1所述的搜索质量实时评估装置，其特征在于，所述商品样本池构建模块，还包括：

预设搜索词汇确定单元，用于将当前平台上满足预设搜索频次的若干个词汇确定为预设搜索词汇；

词汇类目预测单元，用于通过对各所述预设搜索词汇进行类目预测，得到与各所述预设搜索词汇对应的预测类目；

第一实体识别单元，用于通过对各所述预设搜索词汇进行实体识别，得到与各所述预设搜索词汇对应的实体识别结果。

4.根据权利要求1所述的搜索质量实时评估装置，其特征在于，所述商品样本池构建模块，包括：

第一线上搜索单元，用于通过将各所述预设搜索词汇以及与各所述预设搜索词汇对应的预测类目和实体识别结果作为搜索条件进行线上搜索，得到第一预设数量个正样本；

第二线上搜索单元，用于通过将各所述预设搜索词汇以及与各所述预设搜索词汇对应的所述实体识别结果作为搜索条件，并将对应的所述预测类目作为排除条件进行线上搜索，得到第二预设数量个负样本；

样本标注子模块，用于基于预设标注规则对各所述正样本以及各所述负样本执行相应的标注操作。

5.根据权利要求4所述的搜索质量实时评估装置，其特征在于，所述样本标注子模块，包括：

第一标注单元，用于基于所述实体识别结果对相应的所述正样本进行标注，并将对应的样本标注状态确定为已标注；

第二标注单元，用于基于所述实体识别结果对相应的所述负样本进行标注，并将对应的样本标注状态确定为待进行人工二次标注，以便后续通过人工复查确定是否进行标注修正。

6.根据权利要求1所述的搜索质量实时评估装置，其特征在于，所述搜索词汇路由模块，还包括：

正常商品池路由模块，用于当所述目标搜索词汇不属于所述预设搜索词汇，则将所述目标搜索词汇路由至正常的线上商品池以执行相应的搜索操作。

7.根据权利要求1至6任一项所述的搜索质量实时评估装置，其特征在于，所述搜索数据上传模块，包括：

第一数据上传单元，用于在多路召回阶段，基于第一预设埋点触发将当前阶段的第一搜索明细数据通过消息队列异步存入至预设持久化数据库的步骤；其中，所述第一搜索明细数据包括与所述多路召回阶段对应的第一真阳性数据、第一假阴性数据、第一假阳性数据、第一真阴性数据；

第二数据上传单元，用于在排序阶段，基于第二预设埋点触发将当前阶段的第二搜索明细数据通过消息队列异步存入至所述预设持久化数据库的步骤。