[发明专利]用于预测的跨模态神经网络在审
| 申请号： | 201980029483.9 | 申请日： | 2019-03-01 |
| 公开（公告）号： | CN112041856A | 公开（公告）日： | 2020-12-04 |
| 发明（设计）人： | P·张 | 申请（专利权）人： | 皇家飞利浦有限公司 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04 |
| 代理公司： | 永新专利商标代理有限公司 72002 | 代理人： | 刘兆君 |
| 地址： | 荷兰艾*** | 国省代码： | 暂无信息 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 用于 预测 跨模态 神经网络 | ||
1.一种用于处理包括多种不同数据类型的多模态电子数据的跨模态神经网络控制器(90)，所述跨模态神经网络控制器(90)包括处理器(91)和非瞬态存储器(92)，所述跨模态神经网络控制器被配置为：
在下部神经网络层处，进行以下中的至少两项：
将第一数据类型(211)输入到第一神经网络(230)中以产生第一特征向量(214)，
将第二数据类型(212)输入到第二神经网络(240)中以输出第二特征向量(215)，以及
将第三数据类型(213)输入到第三神经网络(250)中以输出第三特征向量，
其中，所述第一神经网络(230)、所述第二神经网络(240)和所述第三神经网络(250)具有不同的神经架构；并且
在上部神经网络层处，将所述第一特征向量(214)、所述第二特征向量(215)和所述第三特征向量(216)中的至少两项输入到第四神经网络(260)中以产生预测(217)。
2.根据权利要求1所述的跨模态神经网络控制器(90)，
其中，所述第一数据类型(211)是编码数据(11)；
其中，将所述第一数据类型(211)输入到所述第一神经网络(230)中以产生所述第一特征向量(214)包括：
将所述编码数据(11)输入到编码神经网络(30)中以产生编码特征向量(14)；并且
其中，将所述第一特征向量(214)、所述第二特征向量(215)和所述第三特征向量(216)中的所述至少两项输入到所述第四神经网络(260)中以产生所述预测(217)包括：
将所述编码特征向量(14)、所述第二特征向量(215)和所述第三特征向量(216)中的至少两项输入到卷积神经网络中以产生所述预测(217)。
3.根据权利要求1所述的跨模态神经网络控制器(90)，其中，将所述第一数据类型(211)输入到所述第一神经网络(230)中以产生所述第一特征向量(214)包括：
将深度学习网络应用于所述第一数据类型(211)以生成所述第一特征向量(214)；或者
对所述深度学习网络和注意力模块到所述第一数据类型(211)的应用进行卷积以生成所述第一特征向量(214)。
4.根据权利要求1所述的跨模态神经网络控制器(90)，
其中，所述第二数据类型(212)是嵌入数据(12)；
其中，将所述第二数据类型(212)输入到所述第二神经网络(240)中以产生所述第二特征向量(215)包括：
将所述嵌入数据(12)输入到嵌入神经网络(40)中以产生嵌入特征向量(15)；并且
其中，将所述第一特征向量(214)、所述第二特征向量(215)和所述第三特征向量(216)中的所述至少两项输入到所述第四神经网络(260)中以产生所述预测(217)包括：
将所述第一特征向量(214)、所述嵌入特征向量(15)和所述第三特征向量(216)中的至少两项输入到所述第四神经网络(260)中以产生所述预测(217)。
5.根据权利要求1所述的跨模态神经网络控制器(90)，其中，将所述第二数据类型(212)输入到所述第二神经网络(240)中以产生所述第二特征向量(215)包括：
将单级卷积神经网络应用于所述第二数据类型(212)以生成所述第二特征向量(215)；或者
对所述单级卷积神经和注意力模块到所述第二数据类型(212)的应用进行卷积以生成所述第二特征向量(215)。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于皇家飞利浦有限公司，未经皇家飞利浦有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201980029483.9/1.html，转载请声明来源钻瓜专利网。
