[发明专利]一种搜索质量实时评估方法、装置、设备及存储介质

说明书

本申请公开了一种搜索质量实时评估方法、装置、设备及存储介质，涉及互联网技术领域，包括：样本池构建模块，用于基于各预设搜索词汇及对应的预测类目和实体识别结果进行线上搜索以确定出相应数量的正负样本得到目标商品样本池；词汇路由模块，用于判断用户当前输入的目标搜索词汇是否属于预设搜索词汇，如果是则将目标搜索词汇路由至目标商品样本池以执行搜索操作；数据上传模块，用于在执行搜索操作时，基于预设埋点将各搜索阶段的明细数据存入预设持久化数据库；质量评估模块，用于基于明细数据及各预设质量指标公式确定质量评估结果。本申请通过在输入预设搜索词汇时对各搜索阶段的明细数据进行评估以确定搜索质量，有效保证了评估的实时性。

技术领域

本发明涉及互联网技术领域，特别涉及一种搜索质量实时评估方法、装置、设备及存储介质。

背景技术

目前，现有技术方案主要根据线上用户实际反馈来侧面说明，例如搜索结果页点击率、搜索结果页翻页率、搜索结果页导购率、搜索结果页转化率、搜索结果页停留时长、搜索结果页pv(Page Views，页面浏览量)、uv(Unique Visitor，独立访客)。这种情况下只有事后才能提供评估结果，也即只有用户搜索完成后才能针对用户已完成的搜索操作进行评估。不仅无法对搜索系统的每个阶段(多路召回、排序等)做详细解读，还容易使得搜索质量因受外部因素影响而产生偏差，相同的搜索系统可能得到不同的搜索质量结果，如：当采购高峰期的导购、转化率远大于采购低峰时间；用户迫切想要某个商品时的点击率远高于随便逛逛时的点击率。

发明内容

有鉴于此，本发明的目的在于提供一种搜索质量实时评估方法、装置、设备及存储介质，能够实现对各搜索阶段的质量评估，并有效保证评估的实时性、准确性。其具体方案如下：

第一方面，本申请提供了一种搜索质量实时评估装置，包括：

商品样本池构建模块，用于基于各预设搜索词汇以及与各所述预设搜索词汇对应的预测类目和实体识别结果进行线上搜索，确定出第一预设数量的正样本以及第二预设数量的负样本，以得到相应的目标商品样本池；

搜索词汇路由模块，用于获取用户当前输入的目标搜索词汇，判断所述目标搜索词汇是否属于所述预设搜索词汇，如果是则将所述目标搜索词汇路由至所述目标商品样本池以在所述目标商品样本池中执行相应的搜索操作；

搜索数据上传模块，用于在执行所述搜索操作时，基于预设埋点触发将各搜索阶段的明细数据通过消息队列异步存入预设持久化数据库的步骤；

搜索质量评估模块，用于基于已存入所述预设持久化数据库中的所述明细数据以及各预设质量指标计算公式确定相应的质量评估结果。

可选的，所述搜索质量实时评估装置，还包括：

评估结果展示模块，用于基于已存入所述预设持久化数据库中的所述明细数据生成相应的搜索质量评估报表；其中，所述搜索质量评估报表包括搜索准确性趋势报表、搜索性能趋势报表以及搜索多样性趋势报表。

可选的，所述商品样本池构建模块，还包括：

预设搜索词汇确定单元，用于将当前平台上满足预设搜索频次的若干个词汇确定为预设搜索词汇；

词汇类目预测单元，用于通过对各所述预设搜索词汇进行类目预测，得到与各所述预设搜索词汇对应的预测类目；

第一实体识别单元，用于通过对各所述预设搜索词汇进行实体识别，得到与各所述预设搜索词汇对应的实体识别结果。

可选的，所述商品样本池构建模块，包括：

第一线上搜索单元，用于通过将各所述预设搜索词汇以及与各所述预设搜索词汇对应的预测类目和实体识别结果作为搜索条件进行线上搜索，得到第一预设数量个正样本；