[发明专利]法律数据检索的评价方法、评价装置和电子设备

说明书

公开了一种法律数据检索的评价方法、评价装置和电子设备。该评价方法包括：基于用户使用法律数据检索的检索数据的信息数量、信息质量和可靠性，对所述法律数据检索进行检索便利性评价；基于所述检索数据中检索结果和与其对应的检索查询的子主题之间的相关性，进行多样化检索评价；基于所述检索数据的用户数据生成对应用户的检索需求，判断所述检索数据的检索结果是否匹配所述检索需求，以进行用户满意度评价；以及，基于聚类算法对所述检索数据中的法律数据进行分类，以每一类别的法律数据分别训练一个点击率预测模型，以训练完成的多个点击率预测模型共同对点击率进行预测，以进行点击率预测评价。这样，对法律数据检索进行客观评价。

技术领域

本申请涉及法律数据检索，更具体地涉及一种法律数据检索的评价方法、评价装置和电子设备。

背景技术

法律数据(例如，司法公开信息、裁判文书等)数据量大、时效性强，方便、有效、实时的法律数据检索功能，是影响法律数据检索(引擎、应用或服务)可用性的重要因素之一。因此，需要对法律数据检索进行针对性地评价，以提供法律数据检索是否满足用户需求的客观指标。

同时，法律数据检索任务复杂，又具有用户检索需求范围广且难以把握的特性，因此，需要一种针对于法律数据检索的客观评价方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种法律数据检索的评价方法、评价装置和电子设备，其适于对法律数据检索进行针对性地评价，以提供法律数据检索是否满足用户需求的客观指标。

根据本申请的一方面，提供了一种法律数据检索的评价方法，其包括：

获取多个用户使用法律数据检索的检索数据；

基于所述检索数据的信息数量、信息质量和可靠性，对所述法律数据检索进行检索便利性评价；

基于所述检索数据中检索结果和与所述检索结果对应的检索查询的子主题之间的相关性，对所述法律数据检索进行多样化检索评价；

基于所述检索数据的用户数据生成对应用户的检索需求，判断所述所述检索数据的检索结果是否匹配所述检索需求，以对所述法律数据检索进行用户满意度评价；以及

基于聚类算法对所述检索数据中的法律数据进行分类；以每一类别的法律数据分别训练一个点击率预测模型；以训练完成的多个点击率预测模型共同对点击率进行预测，以对所述法律数据检索进行点击率预测评价。

在上述法律数据检索的评价方法中，基于所述检索数据的信息数量、信息质量和可靠性，对所述法律数据检索进行检索便利性评价，包括：获取部分所述检索数据的检索结果；以及，基于部分所述检索结果的查全率和查准率，获得所述检索数据的信息数量、信息质量和可靠性。

在上述法律数据检索的评价方法中，基于所述检索数据中检索结果和与所述检索结果对应的检索查询的子主题之间的相关性，对所述法律数据检索进行多样化检索评价，包括：基于所述检索数据中检索结果和与所述检索结果对应的检索查询的子主题之间的相关性，获得如下评价指标至少之一：P-IA指标、ERP-IA@K指标、α-nDCG指标、NRBP指标和排序相关性测度。

在上述法律数据检索的评价方法中，基于所述检索数据的用户数据生成对应用户的检索需求，判断所述所述检索数据的检索结果是否匹配所述检索需求，以对所述法律数据检索进行用户满意度评价，包括：基于用户数据中的身份、地域和兴趣，生成所述用户的检索需求。

在上述法律数据检索的评价方法中，用于评价所述法律数据检索的用户满意度的评价指标体系，包括可用性、互动性、信息质量和系统质量四个一级指标，所述可行性包括易浏览性、易理解性、易使用性和界面设计四个二级指标；所述交互性包括人机交互和用户交互二个二级指标；所述信息质量包括准确性、完整性、权威型和完备性四个二级指标；所述系统质量包括高并发访问、稳定性、安全性和响应性四个二级指标。