[发明专利]意图识别模型训练方法、意图识别方法及装置

说明书

本申请提供了一种意图识别模型训练方法、意图识别方法及装置，应用于自然语言处理技术领域，其中该方法包括：将知识图谱信息引入意图识别训练过程，用较小的代价使模型在fine‑tune的过程中学习到专业领域的知识，降低训练成本的同时，不仅增加了模型的知识维度，还增加了模型的可解释性；此外，用拉普拉斯算子取代softmax分类，进一步拉大了不相关句子之间的距离，缩短了相似句子之间的距离，这样，对于人工标注“A‑B”、“A‑C”和“D‑F”,有相同标注的两句话“A‑C”和“A‑B”之间的相似度被人为拉近，和“D‑F”的距离则人为拉远，这样，既增加了人工标注的利用率，同时，也使得训练结果也更加准确。

技术领域

本申请涉及自然语言处理技术领域，具体而言，本申请涉及一种意图 识别模型训练方法、意图识别方法及装置。

背景技术

意图识别算法，目前已广泛的应用于机器人对话各个领域，用以判断用 户的想法和诉求。意图识别算法一般做法是通过分类的方法将句子或者我们 常说的语句队列分配到相应的意图种类，得到和用户表达最相近的意图类别， 例如，目前比较火热的问答机器人，假设某个机器人可以解决30个不计算用 户向机器人发来的每一个语句队列与可以解决的问题的匹配程度，同种类的 问题，意图识别的做法则是分别找出机器人可以解决的问题和用户问题之间 最为匹配的一个或几个，例如目前火热的基于预训练模型的意图识别方法 bert。意图识别最大的难点在于标注数据的获取与利用，目前标注数据的获 取主要来自两个方面，一个是专业数据团队对数据进行标注，一个实通过半 监督学习的方式自动生成标注，而对于标注的利用，目前的算法主要区分了 数据的特异性，例如星巴克和starbucks代表同一个意思，只要指定数据， 这种识别就可以很轻易的完成。

但是，现实中，获取的数据除了特异性，还有一些共性数据，例如领域 特征信息：举个例子，“错误信息提示-mismatched input...,expecting...” 和“错误信息提示-query failed...,division by zero”，这两个标准问， 或者说两个类别，其中“错误信息提示”是标注者特意标注的领域信息，目 的是希望当用户输入“错误信息提示”时候，按概率大小，可以同时返回两 个标准问，而目前的主流算法，则会把标准问中“错误信息提示”当做噪音， 把这段话作为语料加入训练模型，例如bert模型，则这个人为标注的知识则 会与主流预训练模型的知识融合，导致实际输出结果偏离其正确的意思，“错 误信息提示”这段信息，反而会影响输出结果，这种情况，往往就造成了大 量的标注浪费。

此外，现实中往往会遇到一些专业领域的信息，例如，“进件”这个词， 在信用卡领域表示给用户发放信用卡，而只从字面上理解则表示收入某件东 西，而目前主流的预训练模型，用了大量的通用信息来训练，在使用预训练 模型来预测的时候，专业领域信息往往会被通用信息覆盖，导致预测效果不 准确。

发明内容

本申请提供了一种意图识别模型训练方法、意图识别方法及装置，能 够提升意图识别的准确性，本申请采用的技术方案如下：

第一方面，提供了一种意图识别模型训练方法，包括：

将样本文本与目标知识图谱关联，得到树状结构文本；

确定所述树状结构文本的可视化矩阵，所述可视化矩阵用于表示树状 结构文本中两个词之间是否可见；

基于多个所述树状结构文本和所述可视化矩阵通过Mask-Transformer 网络分别提取样本特征，所述Mask-Transformer在Transformer中间增加 可见表达M；

基于提取到的多个样本特征，通过最小化目标函数训练意图识别模 型。

可选地，所述最小化目标函数为：