[发明专利]标注质量的检测方法、装置、计算机设备和存储介质在审
| 申请号: | 201910827385.1 | 申请日: | 2019-09-03 |
| 公开(公告)号: | CN110610004A | 公开(公告)日: | 2019-12-24 |
| 发明(设计)人: | 付嘉懿;石真;涂臻 | 申请(专利权)人: | 深圳追一科技有限公司 |
| 主分类号: | G06F17/27 | 分类号: | G06F17/27;G06F16/33;G06N3/04 |
| 代理公司: | 44224 广州华进联合专利商标代理有限公司 | 代理人: | 卢晓霞 |
| 地址: | 518051 广东省深圳市南山区粤海街道*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 文本数据 标注 全检 匹配 神经网络识别 计算机设备 存储介质 多个目标 目标数据 检测 筛选 申请 保证 | ||
1.一种标注质量的检测方法,其特征在于,所述方法包括:
获取标注员对多个目标数据分别标注后得到的多个第一文本数据;
采用神经网络识别模型分别对多个所述目标数据进行识别,得到多个第二文本数据;
从多个所述第一文本数据中,筛选出待全检的第一文本数据和待抽检的第一文本数据;所述待全检的第一文本数据为与所述第二文本数据不匹配的第一文本数据,所述待抽检的第一文本数据为与所述第二文本数据匹配的第一文本数据。
2.根据权利要求1所述的方法,其特征在于,所述采用神经网络识别模型分别对多个所述目标数据进行识别,得到多个第二文本数据,包括:
采用多个神经网络识别模型分别对多个所述目标数据进行识别,得到各所述神经网络识别模型输出的多个所述第二文本数据。
3.根据权利要求2所述的方法,其特征在于,所述从多个所述第一文本数据中,筛选出待全检的第一文本数据和待抽检的第一文本数据,包括:
分别确定各所述第一文本数据与各所述神经网络识别模型输出的所述第二文本数据是否匹配;
若所述第一文本数据与至少一个所述第二文本数据不匹配,则将所述第一文本数据确定为所述待全检的第一文本数据;
若所述第一文本数据与各所述神经网络识别模型输出的所述第二文本数据均匹配,则将所述第一文本数据确定为所述待抽检的第一文本数据。
4.根据权利要求3所述的方法,其特征在于,所述分别确定各所述第一文本数据与各所述神经网络识别模型输出的所述第二文本数据是否匹配,包括:
计算所述第一文本数据与所述第二文本数据之间的编辑距离;
若所述第一文本数据与所述第二文本数据之间的编辑距离大于预设编辑距离,则确定所述第一文本数据与所述第二文本数据不匹配;
若所述第一文本数据与所述第二文本数据之间的编辑距离不大于所述预设编辑距离,则确定所述第一文本数据与所述第二文本数据匹配。
5.根据权利要求4所述的方法,其特征在于,所述编辑距离包括文本长度编辑距离、拼音编辑距离、词汇编辑距离中至少一种。
6.根据权利要求1-5任一项所述的方法,其特征在于,在所述筛选出待全检的第一文本数据和待抽检的第一文本数据之后,所述方法还包括:
若所述待全检的第一文本数据的数量大于预设数量,则提示所述标注员重新标注;其中,所述预设数量为所述第一文本数据的总数量与预设比值的乘积。
7.根据权利要求6所述的方法,其特征在于,所述提示所述标注员重新标注,包括:
提示所述标注员对多个所述目标数据重新标注;
或,提示所述标注员对所述待全检的第一文本数据对应的目标数据重新标注。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述目标数据包括语音数据、图像数据和文本数据中的至少一种。
9.一种标注质量的检测装置,其特征在于,所述装置包括:
第一文本数据获取模块,用于获取标注员对多个目标数据分别标注后得到的多个第一文本数据;
第二文本数据获取模块,用于采用神经网络识别模型分别对多个所述目标数据进行识别,得到多个第二文本数据;
筛选模块,用于从多个所述第一文本数据中,筛选出待全检的第一文本数据和待抽检的第一文本数据;所述待全检的第一文本数据为与所述第二文本数据不匹配的第一文本数据,所述待抽检的第一文本数据为与所述第二文本数据匹配的第一文本数据。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳追一科技有限公司,未经深圳追一科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910827385.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:用于辅助文本标注的方法和系统
- 下一篇:基于深度学习的盗窃罪辅助量刑方法





