[发明专利]数据处理方法、装置及系统,存储介质和电子设备在审
申请号: | 201911408103.0 | 申请日: | 2019-12-31 |
公开(公告)号: | CN113127635A | 公开(公告)日: | 2021-07-16 |
发明(设计)人: | 李明浩;赵宇;骆卫华 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35 |
代理公司: | 北京清源汇知识产权代理事务所(特殊普通合伙) 11644 | 代理人: | 冯德魁;窦晓慧 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 系统 存储 介质 电子设备 | ||
本申请公开一种数据处理方法和装置,数据处理系统,生产序列标注标签的模型训练方法,序列标注标签的确定方法,数据翻译方法及计算机存储介质和电子设备,其中处理方法包括:对获取的基于文本信息的序列标注信息中的标注标签进行异常检测,获得异常检测结果;根据所述异常检测结果,在所述序列标注信息中添加用于描述所述标注标签异常的检测状态参考信息;退回包括所述检测状态参考信息的序列标注信息;获取针对退回的包括所述检测状态参考信息的所述序列标注信息中,所述检测状态参考信息的确认信息;根据所述确认信息,确定针对异常标注标签的目标标注标签。从而通过对序列标注信息中的标注标签的质检,保证标注标签的稳定性和准确性。
技术领域
本申请涉及计算机技术领域,具体涉及一种数据处理方法及装置,以及数据处理系统,生产序列标注标签的模型训练方法,序列标注标签的确定方法,数据翻译方法,计算机存储介质和电子设备。
背景技术
在大数据时代下基于深层神经网络的机器学习算法能够很好地完成包括命名实体识别、中文分词和词性标注在内的多种序列标注任务。但由于大部分有效的算法是有监督学习,需要规模较大的训练语料并训练数量庞大的参数,才能够获得表现较好的模型。而序列标注中的人工标注作为语料生产的一个主要手段,由于存在人为因素,因此其主要面临的问题包括标注质量和成本两方面的问题,而这两方面会使模型训练产生负面影响。
发明内容
本申请提供一种数据处理方法,以解决现有技术中标注结果稳定性差的问题。
鉴于此,本申请提供一种数据处理方法,包括:
对获取的基于文本信息的序列标注信息中的标注标签进行异常检测,获得异常检测结果;
根据所述异常检测结果,在所述序列标注信息中添加用于描述所述标注标签异常的检测状态参考信息;
退回包括所述检测状态参考信息的序列标注信息;
获取针对退回的包括所述检测状态参考信息的所述序列标注信息中,所述检测状态参考信息的确认信息;
根据所述确认信息,确定针对异常标注标签的目标序列标注标签。
在一些实施例中,所述对获取的基于文本信息的序列标注信息中的标注标签进行异常检测,获得异常检测结果,包括:
根据文本信息和用于存储标注信息记忆库中的标注信息中的至少一种信息,对所述序列标注信息中的标注标签进行异常检测,获得异常检测结果。
在一些实施例中,所述检测状态参考信息中至少包括如下一种信息:
针对所述标注标签的修订信息;
针对所述标注标签的检测状态信息;
针对所述标注标签的标注异常的内容信息。
在一些实施例中,所述获取针对所述退回的包括所述检测状态参考信息的序列标注信息中,所述检测状态参考信息的确认信息,包括:
获取针对退回的包括所述检测状态参考信息的序列标注信息中,用于描述针对所述检测状态参考信息为正确的确认信息;或者;
获取针对退回的包括所述检测状态参考信息的序列标注信息中,用于描述针对所述检测状态参考信息为错误的确认信息。
在一些实施例中,所述获取针对退回的包括所述检测状态参考信息的序列标注信息中,用于描述针对所述检测状态参考信息为正确的确认信息,包括:
获取针对退回的包括所述检测状态参考信息的序列标注信息中,确认修订后标注标签为正确的确认信息。
在一些实施例中,所述获取针对退回的包括所述检测状态参考信息的序列标注信息中,用于描述针对所述检测状态参考信息为错误的确认信息,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911408103.0/2.html,转载请声明来源钻瓜专利网。