[发明专利]一种对信访件要素信息的抽取结果评价的方法及装置

说明书

本申请提供一种对信访件要素信息的抽取结果评价的方法及装置，该方法包括，获取机器抽取信访件要素信息的第一要素集合和人工抽取信访件要素信息的第二要素集合；将第二要素集合中的每一要素信息和第一要素集合中对应的每一要素信息进行匹配，得到第二要素集合中每一要素信息的评分；基于第二要素集合中每一要素信息的评分，确定人工抽取信访件要素信息的评价结果。通过本申请的方法可以达到准确的对人工抽取信访件的要素信息进行评价的效果。

技术领域

本申请涉及信息评价的领域，具体而言，涉及一种对信访件要素信息的抽取结果评价的方法及装置。

背景技术

随着大数据和人工智能技术的发展，基于深度学习的文本分类与实体关系抽取模型得到了广泛应用，在信访件要素抽取任务上可以达到很高的准确率。

然而在相当多的业务场景下，例如，机器无法工作或者硬件资源不满足需要等，需要通过人工开展信访案件办理，进行信访件要素抽取，因此，需要对既往的人工信访案件办理进行质量评估审核工作。

因此，在人工办理信访案件之后，如何准确的对抽取要素进行评价，是一个需要解决的技术问题。

发明内容

本申请实施例的目的在于提供对抽取要素评分的方法，通过本申请的实施例的技术方案可以达到准确的对人工抽取信访件的要素信息进行评价的效果。

第一方面，本申请实施例提供了一种对信访件要素信息的抽取结果评价的方法，包括，获取机器抽取信访件要素信息的第一要素集合和人工抽取信访件要素信息的第二要素集合；将第二要素集合中的每一要素信息和第一要素集合中对应的每一要素信息进行匹配，得到第二要素集合中每一要素信息的评分；基于第二要素集合中每一要素信息的评分，确定人工抽取信访件要素信息的评价结果。

在上述过程中，由于机器抽取信访件要素信息可以达到非常高的准确率，并且机器抽取的信访件要素信息具有统一的衡量标准，因此，本申请通过机器抽取信访件中的要素信息和人工抽取信访件中对应的每一要素信息的对比，并基于所有的要素的对比结果，对人工抽取的要素信息进行评估，本申请可以达到准确的对人工抽取信访件的要素信息进行评价的效果。

一种实施例中，信访件要素信息，包括以下要素信息中的至少一种：

多分类要素信息、多级地址要素信息、姓名要素信息、证件号码要素信息、手机号码要素信息、多级多分类要素信息和信访概况要素信息。

在上述过程中，通过将信访件要素信息分成多种信息，基于多种要素信息将通过机器抽取信访件中的要素信息和人工抽取信访件要素信息来对比，能够更全面的得到机器抽取信访件中的要素信息和人工抽取信访件要素信息的对比结果，进而可以实现准确的对人工抽取的要素信息进行评价。

一种实施例中，信访件要素信息包括姓名要素信息、证件号码要素信息、手机号码要素信息、多分类要素信息、多级地址要素信息和多级多分类要素信息中的任一种时，将第二要素集合中的每一要素信息和第一要素集合中对应的每一要素信息进行匹配，得到第二要素集合中每一要素信息的评分，包括：

将第二要素集合中的每一要素信息和第一要素集合中对应的每一要素信息进行匹配，当第二要素集合中的任一要素信息和第一要素集合中对应的要素信息相同，对任一要素信息赋满分；

当第二要素集合中的任一要素信息和第一要素集合中对应的要素信息不相同，对任一要素信息赋零分。

在上述过程中，通过两个不同抽取方法抽取到的要素信息的对比，相同就赋满分不相同就赋零分的方式，可以简单、准确的对人工抽取的姓名要素信息、证件号码要素信息、手机号码要素信息、多分类要素信息、多级地址要素信息和多级多分类要素信息进行评分。

一种实施例中，信访件要素信息为信访概况要素信息时，将第二要素集合中的每一要素信息和第一要素集合中对应的每一要素信息进行匹配，得到第二要素集合中每一要素信息的评分，包括：