[发明专利]法律数据检索的评价方法、评价装置和电子设备

权利要求书

1.一种法律数据检索的评价方法，其特征在于，包括：

获取多个用户使用法律数据检索的检索数据；

基于所述检索数据的信息数据、信息质量和可靠性，对所述法律数据检索进行检索便利性评价；

基于所述检索数据中检索结果和与所述检索结果对应的检索查询的子主题之间的相关性，对所述法律数据检索进行多样化检索评价；

基于所述检索数据的用户数据生成对应用户的检索需求，判断所述检索数据的检索结果是否匹配所述检索需求，以对所述法律数据检索进行用户满意度评价；以及

基于聚类算法对所述检索数据中的法律数据进行分类，以每一类别的法律数据分别训练一个点击率预测模型，以训练完成的多个点击率预测模型共同对点击率进行预测，以对所述法律数据检索进行点击率预测评价；其中，以每一类别的法律数据分别训练一个点击率预测模型，包括：以梯度提升决策树模型挖掘特征之间的非线性关系。

2.根据权利要求1所述的评价方法，其中，基于所述检索数据的信息数量、信息质量和可靠性，对所述法律数据检索进行检索便利性评价，包括：

获取部分所述检索数据的检索结果；以及

基于部分所述检索结果的查全率和查准率，获得所述检索数据的信息数量、信息质量和可靠性。

3.根据权利要求1所述的评价方法，其中，基于所述检索数据中检索结果和与所述检索结果对应的检索查询的子主题之间的相关性，对所述法律数据检索进行多样化检索评价，包括：

基于所述检索数据中检索结果和与所述检索结果对应的检索查询的子主题之间的相关性，获得如下评价指标至少之一：P-IA指标、ERP-IA@K指标、α-nDCG指标、NRBP指标和排序相关性测度。

4.根据权利要求1所述的评价方法，其中，基于所述检索数据的用户数据生成对应用户的检索需求，判断所述检索数据的检索结果是否匹配所述检索需求，以对所述法律数据检索进行用户满意度评价，包括：

基于用户数据中的身份、地域和兴趣，判断所述用户的检索需求。

5.根据权利要求4所述的评价方法，其中，用于评价所述法律数据检索的用户满意度的评价指标体系，包括可用性、交互性、信息质量和系统质量四个一级指标，所述可用性包括易浏览性、易理解性、易使用性和界面设计四个二级指标；所述交互性包括人机交互和用户交互二个二级指标；所述信息质量包括准确性、完整性、权威型和完备性四个二级指标；所述系统质量包括高并发访问、稳定性、安全性和响应性四个二级指标。

6.根据权利要求1所述的评价方法，其中，获取多个用户在法律数据检索的检索数据，包括：

识别所述多个用户中的异常用户；以及

删除异常用户的检索数据。

7.根据权利要求6所述的评价方法，其中，识别所述多个用户中的异常用户，包括：

以训练完成的异常用户识别模型，识别所述多个用户中的异常用户，其中，异常用户识别模型的训练过程，包括：

对获取的用户在所述法律数据检索的流量数据进行预处理，以获得部分标记的训练样本；

使用多数类分布的样本处理方法对所述部分标记的训练样本进行处理，以生成多个训练样本子集；

使用混合扰动技术生成多个成员分类器；

使用训练样本子集分别对所述成员分类器进行训练；以及

选择至少一部分训练完成的成员分类器，构建集成分类器，其中，所述集成分类器为异常用户识别模型。