[发明专利]基于语义槽内部结构的可迁移口语语义解析系统及其实现方法

说明书

一种基于语义槽内部结构的可迁移口语语义解析系统及其实现方法，包括：含有循环神经网络的源领域模型训练模块、含有基于原子概念序列的模型的目标领域迁移学习模块以及解析模块，源领域模型训练模块采集源领域数据并根据源领域的原子概念序列定义将训练得到的源领域的语义理解模型输出至目标领域迁移学习模块，目标领域迁移学习模块根据目标领域的样本数据和原子概念序列定义进行二次训练并采用单领域或多领域方式对所得到目标领域的口语语义理解模型进行迁移学习的优化；解析模块根据优化后的口语语义理解模型解析用户的语句输入并得到语义结果。本发明能够支持领域迁移的口语语义理解。

技术领域

本发明涉及的是一种语音输入领域的技术，具体是一种基于语义槽内部结构的可迁移口语语义解析系统及其实现方法。

背景技术

近年来随着移动互联网技术的发展和语音识别技术的巨大进步，比如微软研究院在特定数据集上取得了和专业人士媲美的语音识别准确率，人机口语交互的需求变得越来越大。口语语义理解作为紧接语音识别之后的一环，起到了帮助机器理解用户意图的关键性作用。

发明内容

本发明针对现有技术依赖于大量人工编写的规则和标注数据，容易产生冲突且难以维护、不同对话领域之间的数据往往因为语义槽的定义不一致而不可复用、对于领域迁移的解析能力不强等缺陷，提出一种基于语义槽内部结构的可迁移口语语义解析系统及其实现方法，通过合理地表示语义槽之间的关系的语义槽结构，结合双向循环神经网络模型，对语义槽结构进行建模，能够支持领域迁移的口语语义理解。

本发明是通过以下技术方案实现的：

本发明涉及一种基于语义槽内部结构的可迁移口语语义解析系统，包括：含有循环神经网络的源领域模型训练模块、含有基于原子概念序列的模型的目标领域迁移学习模块以及解析模块，其中：源领域模型训练模块采集源领域数据并根据源领域的原子概念序列定义将训练得到的源领域的语义理解模型输出至目标领域迁移学习模块，目标领域迁移学习模块根据目标领域的样本数据和原子概念序列定义进行二次训练并采用单领域或多领域方式对所得到目标领域的口语语义理解模型进行迁移学习的优化；解析模块根据优化后的口语语义理解模型解析用户的语句输入并得到语义结果。

本发明涉及上述系统的实现方法，包括：

步骤1)利用循环神经网络对输入句子进行序列标注；

步骤2)将语义槽表示为原子概念序列；

步骤3)通过基于原子概念序列的语义槽表达对口语语义理解进行建模，得到面向细颗粒度语义表达的目标领域的口语语义理解模型，并采用该模型对口语语义进行解析；

所述的基于原子概念序列的模型包括：原子概念独立式与非独立式，其中：原子概念独立式模型中序列中层级之间是相互独立的，原子概念非独立式模型中序列中相邻的层级之间是顺序依赖的(即上一层级的原子概念依赖于下一层级的原子概念的预测结果)。

步骤4)采用单领域或多领域方式进行迁移学习，即在步骤3的建模基础上，通过组织足量源领域数据和少量目标领域数据进行模型的参数学习，使得目标领域在只有少量数据的情况下也能得到不错的语义理解性能。

技术效果

与现有技术相比，本发明在面对未标注领域时采用原子概念建模，可以让不同语义槽共享有交集的原子概念，并且本发明采用领域迁移的学习策略，可以利用已有领域(源领域)的数据辅助目标领域的模型训练，从而显著降低人工编写的劳动量。

附图说明

图1a为传统建模方式，即把语义槽当做一个单独的类别以及图1b为基于原子概念的建模方式，即独立建模示意图；

图2为基于原子概念的建模方式示意图；

图3为系统模块图。

具体实施方式