[发明专利]使用机器学习处理自然语言以基于槽描述符确定槽值在审
申请号: | 201780091984.0 | 申请日: | 2017-06-18 |
公开(公告)号: | CN110741363A | 公开(公告)日: | 2020-01-31 |
发明(设计)人: | A.巴普纳;L.P.赫克 | 申请(专利权)人: | 谷歌有限责任公司 |
主分类号: | G06F16/332 | 分类号: | G06F16/332;G06F40/289;G06F40/35;G06N3/00;G06N3/04;G06N3/08 |
代理公司: | 11105 北京市柳沈律师事务所 | 代理人: | 金玉洁 |
地址: | 美国加利*** | 国省代码: | 美国;US |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 自然语言输入 描述符 嵌入 词条 神经网络模型 自动化助理 对话 分配 应用 | ||
1.一种使用神经网络模型的自然语言处理方法,所述方法由一个或多个处理器实施,并且包括:
接收包括词条的序列的自然语言数据流;
生成所述词条中的一个或多个词条的一个或多个嵌入表示;
将一个或多个槽的一个或多个描述符的一个或多个嵌入表示应用于所述神经网络模型的层;
识别描述符和一个或多个词条之间的对应关系,其中识别所述对应关系包括使用所述神经网络模型处理所述一个或多个词条的一个或多个嵌入表示以及所述一个或多个描述符的一个或多个嵌入表示;
从第一网络节点向第二网络节点发送与所识别的对应关系相关的数据,所述第二网络节点被配置为响应于接收到所述数据而执行一个或多个动作,所述一个或多个动作包括使得响应性内容被生成和发送;以及
在所述第一网络节点处接收所述响应性内容。
2.根据权利要求1所述的方法,其中,一个或多个描述符的接收到的嵌入表示中的一个或多个涉及不在所述神经网络在其上进行训练的一个或多个域当中的域。
3.根据权利要求1或权利要求2所述的方法,其中,所述神经网络模型是使用多个样本自然语言数据流和来自多个域的一个或多个槽标签的描述符的样本嵌入表示来训练的神经网络模型。
4.根据权利要求1至3中任一项所述的方法,其中,所述一个或多个描述符的一个或多个嵌入表示连同所述一个或多个词条的一个或多个嵌入表示一起作为输入被应用于所述神经网络模型的组合层。
5.根据权利要求4所述的方法,其中所述组合层包括前馈层。
6.根据权利要求4或权利要求5所述的方法,其中,所述组合层在所述神经网络模型中位于两个存储层之间。
7.根据权利要求1至6中任一项所述的方法,其中,所述神经网络模型的最终层包括soft-max层,所述soft-max层被配置为输出接收到的词条的序列的内外开始表示。
8.根据权利要求1至7中任一项所述的方法,其中,所述方法还包括在将所述词条的嵌入表示输入到所述神经网络模型的层之前,将所述词条的序列分类为语义域。
9.根据权利要求1至7中任一项所述的方法,其中,所述方法还包括:
在麦克风处接收语音输入;以及
使用语音到文本算法从所述语音输入生成所述词条的序列。
10.根据权利要求1至9中任一项所述的方法,其中,基于将所述词条中的一个或多个词条应用于所述神经网络模型来执行生成所述词条中的一个或多个词条的一个或多个嵌入表示。
11.根据权利要求1至9中任一项所述的方法,其中,生成所述词条中的一个或多个词条的一个或多个嵌入表示在另外的神经网络模型内执行。
12.一种训练用于自然语言处理的神经网络模型的方法,所述方法包括以下步骤:
将一个或多个槽的一个或多个描述符的一个或多个嵌入表示应用于所述神经网络模型的层;
接收与多个域相关的自然语言数据流,所述数据流包括具有与所述一个或多个描述符的已知对应关系的词条;
生成所述词条中的一个或多个词条的一个或多个嵌入表示;
使用所述神经网络模型处理所述一个或多个词条的一个或多个嵌入表示和所述一个或多个描述符的一个或多个嵌入表示,以识别描述符和一个或多个词条之间的对应关系;
将所识别的对应关系与所述已知对应关系进行比较;以及
根据所述比较更新所述神经网络模型中的权重。
13.根据权利要求12所述的方法,其中,所述方法还包括根据所述神经网络模型的所确定的性能来调整所述神经网络模型的超参数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于谷歌有限责任公司,未经谷歌有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201780091984.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:音频查询的重叠处理的协调
- 下一篇:确定自动化助理对话的状态