[发明专利]基于人工智能的识别错误发现方法、装置及存储介质

说明书

本发明公开了基于人工智能的识别错误发现方法、装置及存储介质，其中方法包括：对待识别的query进行命名实体识别，分别获取query中的每个字的置信度；分别获取query中的每个字能够与邻近字组成词语的概率值；根据获取到的置信度以及概率值确定出是否识别错误。应用本发明所述方案，能够节省人力成本，并提高处理效率，以及提高识别错误的发现率等。

【技术领域】

本发明涉及人工智能技术，特别涉及基于人工智能的识别错误发现方法、装置及存储介质。

【背景技术】

人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。

命名实体识别(NER，Named Entity Recognition)是自然语言处理(NLP，NaturalLanguage Processing)中的一项序列标注任务，序列标注，即指对序列中的每个符号赋予一定的标签，主要采用统计加规则的实现方式，命名实体识别可将query等中的实体按类等标记出来，如人名、地名、时间等。

在实际应用中，需要查找出识别错误(bad case)的情况，以便对命名实体识别系统进行优化更新等。

现有技术中，主要采用人工操作的方式来查找出识别错误的情况，即对命名实体识别系统的识别结果进行随机抽样，并人工对抽取出的识别结果进行查看分析，以确定是否识别错误等。

上述方式至少会存在以下问题：由于需要人工进行操作，因此需要很大的人工成本，且处理效率低下，另外，由于采用随机抽样的方式，因此不可能将所有的识别错误均查找出来，即识别错误的发现率很低，从而影响了后续对命名实体识别系统的优化更新。

【发明内容】

有鉴于此，本发明提供了基于人工智能的识别错误发现方法、装置及存储介质，能够节省人力成本，并提高处理效率，以及提高识别错误的发现率。

具体技术方案如下：

一种基于人工智能的识别错误发现方法，包括：

对待识别的query进行命名实体识别，分别获取所述query中的每个字的置信度；

分别获取所述query中的每个字能够与邻近字组成词语的概率值；

根据所述置信度以及所述概率值确定出是否识别错误。

根据本发明一优选实施例，

所述对待识别的query进行命名实体识别之前，进一步包括：

训练得到概率值评估模型；

所述分别获取所述query中的每个字能够与邻近字组成词语的概率值包括：

根据所述概率值评估模型，分别确定出所述query中的每个字能够与邻近字组成词语的概率值。

根据本发明一优选实施例，

所述概率值评估模型包括：word embedding模型。

根据本发明一优选实施例，

所述根据所述概率值评估模型，分别确定出所述query中的每个字能够与邻近字组成词语的概率值包括：

将所述query中的每个字分别作为候选字，针对每个候选字，分别进行以下处理：

将在所述query中与所述候选字之间间隔的字数小于或等于M的字确定为所述候选字的邻近字，M为自然数；