[发明专利]一种搜索序列的理解方法、装置、设备和存储介质

说明书

本发明实施例公开了一种搜索序列的理解方法、装置、设备和存储介质。所述方法包括：确定已标注搜索序列中包含的各词的词向量；将预先依据各URL站点名以及各URL站点名的有点击搜索序列和无点击搜索序列训练得到的搜索序列CNN模型中的隐藏层参数、卷积层参数和池化层参数作为初始领域识别模型中的隐藏层参数、卷积层参数和池化层参数；依据所述已标注搜索序列的领域标注，以及所述已标注搜索序列中包含的各词的词向量，对所述初始领域识别模型进行训练确定所述初始领域识别模型中的全连通层参数，以得到领域识别模型。该方案可以提高少量样本情况下的模型能力和泛化能力，优化训练模型，提高搜索序列的理解效果。

技术领域

本发明实施例涉及信息处理技术领域，尤其涉及一种搜索序列的理解方法、装置、设备和存储介质。

背景技术

随着人工智能(Artificial Intelligence，AI)技术的快速发展，智能客服、智能助手、车载导航和智能家居等越来越多的产品和应用开始尝试引入对话式的人机交互方式。但在实际工作中对话系统的研发对于大多数开发者是一个很困难的工作，其中的一个主要技术难点就是搜索序列(Query)理解。Query理解的核心任务是将自然语言转化至机器可处理的形式化语言，建立自然语言与资源和服务的连接。

Query理解可以拆解为三个任务，即领域(Domain)识别(判断Query是否属于本领域，如果不属于本领域就不解析)、意图(Intent)分类(判断Query在该Domain下的细分意图)和槽位(Slot)标注(在该Intent下，标注Query中需关注的参数信息)。目前主要依据本领域的标注样本，利用卷积神经网络(Convolutional Neural Network，CNN)的模型结构做Domain识别，利用循环神经网络(Recurrent neural Network，RNN)或者循环神经网络-条件随机场(Recurrent neural Network-Conditional Random Field，RNN-CRF)的模型结构做Intent/Slot的联合解析。

然而现有技术存在如下问题：1)标注数据的成本代价高，开发者需要标注大量的数据进行模型训练，才能取得理想的Query理解效果。但是当标注数据量比较少时，模型效果受到了制约。2)Query理解模型的泛化能力不强，如果新的Query在字面上和训练集的Query完全不同，可能无法解析。例如开发者在为零食售卖机做Query理解服务，标注了“给我来一瓶可乐”，其中意图是“购买”，单位是“一”，商品为“可乐”。对于新Query“雪碧，2罐”，因为每一个词都没有学过，很难判断出这个Query的意图也是“购买”。除非用户收集并传入领域内的专名词典，很难发现“雪碧”和“可乐”一样，是种商品。3)开发者除了标注好的语料外，一般还有大量的未标注语料，这部分语料隐含着本领域的知识和常见的语法结构，但现有的技术无法使用。4)目前已有很多其他领域的Query理解语料，不同领域间的语料有一定的相似性。目前的技术无法迁移其他领域上的标注语料，优化一个全新领域的Query理解效果。

发明内容

本发明提供一种搜索序列的理解方法、装置、设备和存储介质，可以提高少量样本情况下的模型能力和泛化能力，优化训练模型，提高Query理解效果。

第一方面，本发明实施例提供了一种搜索序列的理解方法，包括：

确定已标注搜索序列中包含的各词的词向量；

将预先依据各统一资源定位符(Uniform Resource Locator,URL)站点名以及各URL站点名的有点击搜索序列和无点击搜索序列训练得到的搜索序列卷积神经网络模型中的隐藏层参数、卷积层参数和池化层参数作为初始领域识别模型中的隐藏层参数、卷积层参数和池化层参数；

依据所述已标注搜索序列的领域标注，以及所述已标注搜索序列中包含的各词的词向量，对所述初始领域识别模型进行训练确定所述初始领域识别模型中的全连通层参数，以得到领域识别模型。