[发明专利]有属性序列的机器学习系统和方法

权利要求书

1.一种机器学习系统(102)，用于将包括具有固定数量的属性数据元素的属性数据部分(206，208)和具有可变数量的序列数据元素的序列数据部分(210，212)的有属性序列数据(202，204)嵌入到固定长度的特征表示中，所述机器学习系统包括：

属性网络模块(500)，包括前馈神经网络，被配置为将属性数据部分转换为具有第一预定数量的属性特征的经编码的属性向量；以及

序列网络模块(600)，包括递归神经网络，被配置为将序列数据部分转换为具有第二预定数量的序列特征的经编码的序列向量，

其中，属性网络模块和序列网络模块操作地耦合(700，800，900)，使得在使用中，机器学习系统被配置为学习并输出输入有属性序列数据的固定长度特征表示，所述固定长度特征表示编码属性数据部分中的不同属性数据元素之间的依赖性、序列数据部分中不同序列数据元素之间的依赖性、以及有属性序列数据内的属性数据元素和序列数据元素之间的依赖性。

2.如权利要求1所述的机器学习系统，其中属性网络模块(500)包括多层前馈神经网络，所述多层前馈神经网络具有属性向量输出层，所述属性向量输出层包括第一预定数量的单元，并且序列网络模块(600)的所述递归神经网络包括具有第二预定数量的隐藏单元的长短期记忆LSTM网络。

3.如权利要求2所述的机器学习系统，其中属性网络模块(702)通过将所述属性向量输出层的输出传递到序列网络模块的属性向量输入而操作地耦合(706)到序列网络模块(704)。

4.如权利要求3所述的机器学习系统，其中：

序列网络模块的所述属性向量输入包括第一评估步骤处LSTM网络的隐藏状态，

属性向量输出层单元的第一预定数量等于序列网络模块隐藏单元的第二预定数量，以及

输入有属性序列数据的固定长度特征表示包括最终评估步骤处LSTM网络的隐藏状态。

5.如权利要求2所述的机器学习系统，其中属性网络模块(804)通过将序列网络模块的输出传递到属性网络模块的输入层而操作地耦合(806)到序列网络模块(802)。

6.如权利要求5所述的机器学习系统，其中：

属性网络模块的输入层中的单元的数量等于固定数量的属性数据元素和第二预定数量的序列网络模块隐藏单元的总和，

序列网络模块的输出包括最终评估步骤处LSTM网络的隐藏状态，最终评估步骤处LSTM网络的隐藏状态与固定数量的属性数据元素级联以产生被传递到属性网络模块的输入层的级联的属性网络输入向量，以及

输入有属性序列数据的固定长度特征表示包括属性向量输出层的输出。

7.如权利要求2所述的机器学习系统，其中属性网络模块(902)经由融合网络模块(906)操作地耦合到序列网络模块(904)，所述融合网络模块(906)包括输入级联层(908)和非线性函数模块(910)，所述输入级联层(908)被配置为生成包括与序列网络模块的输出(914)级联的属性向量输出层的输出(912)的级联，并且所述非线性函数模块(910)被配置为学习所述级联的非线性函数，所述非线性函数编码有属性序列数据内的属性数据元素和序列数据元素之间的依赖性。

8.如权利要求7所述的机器学习系统，其中：

输入级联层中的单元的数量等于第一预定数量的属性特征和第二预定数量的序列特征的总和，

序列网络模块的输出包括最终评估步骤处LSTM网络的隐藏状态，

非线性函数模块包括完全连接的前馈神经网络层，以及

输入有属性序列数据的固定长度特征表示包括完全连接的前馈神经网络层的输出向量。