[发明专利]语言标注处理方法、系统、电子设备及计算机可读介质

说明书

本发明实施例提供一种语言标注处理方法、系统、电子设备及计算机可读介质，属于人工智能技术领域。该语言标注处理方法包括：利用经过标注的语料构建标注语料库；基于所述标注语料库进行建模，得到业务场景分类模型和语义识别模型；获取未经标注的信息；利用所述业务场景分类模型和所述语义识别模型对所述未经标注的信息进行标注。本发明通过提供一种面向机器学习的自然语言处理智能标注的方法，使用标注过的语料构建语料库，并以此来进行机器学习，训练构建模型，对于未经标注的数据而言，基于该模型进行标注可以减少标注人员不必要的低级错误，提高标注的准确率。

技术领域

本发明实施例总体涉及人工智能技术领域，具体而言，涉及一种语言标注处理方法、系统、电子设备及计算机可读介质。

背景技术

随着人工智能的快速发展，人们需要训练计算机解决一些问题，但仍然有大量问题是计算机不能完成的，特别是在理解人类语言方面。在自然语言领域，对机器学习训练数据的提示，通常以标注的形式呈现，用于标记数据集元素的元数据标签称为在输入上的标注。为了使算法更有效，数据上的标注必须准确并与要执行的任务相关。NLP(NaturalLanguage Processing，自然语言处理)是人工智能中最为困难的问题之一，语言标注又是人工智能在NLP领域落地的关键环节。

现有技术方案往往采用人工标注，在NLP领域的序列标注问题，通常是需求方把要标注的语料以Excel的格式提供给标注人员，并且需求方写好标注指南，标注人员阅读标注指南后，根据自己的认知理解和标注语料，按要求逐条标注。

但是现有技术存在一定的缺点，就是单纯的人工标注对标注人员的依赖很大，标注工作本身比较枯燥，但是需要标注人员每时每刻都高度集中注意力，稍不留意，就容易出现错别字、标注串行等一些很低级的手误，导致整条标注语句不能用，浪费人力和时间。

因此，现有技术方案中还存在有待改进之处。

在所述背景技术部分公开的上述信息仅用于加强对本发明实施例的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明实施例提供一种语言标注处理方法、系统、电子设备及计算机可读介质，解决现有技术方案中单纯人工标注费时费力而且错误较多的问题。

本发明实施例的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明实施例的实践而习得。

根据本发明实施例的第一方面，提供一种语言标注处理方法，包括：

利用经过标注的语料构建标注语料库；

基于所述标注语料库进行建模，得到业务场景分类模型和语义识别模型；

获取未经标注的信息；

利用所述业务场景分类模型和所述语义识别模型对所述未经标注的信息进行标注。

在本发明的一些实施例中，所述经过标注的语料和所述未经标注的信息为通过语音助手获取得到的一段话。

在本发明的一些实施例中，所述利用经过标注的语料构建标注语料库为：

获取经过标注的语料，其中所述经过标注的语料为用户通过所述语音助手输入的一段话中的第一句话；

对所述经过标注的语料进行数据清洗，去除无用信息；

对所述经过标注的语料划分为多个业务场景，并从所述多个业务场景选取相同数目的语料，组成所述标注语料库。

在本发明的一些实施例中，所述业务场景分类模型分类后的标签包括：特定商品查询、订单查询、售后、特定优惠查询、模糊优惠查询和全站直达。

在本发明的一些实施例中，所述语义识别模型的标签包括：产品词、品牌词和修饰词。