[发明专利]一种用于根据资讯数据生成文本内容的方法与设备

说明书

本申请的目的是提供一种用于根据资讯数据生成文本内容的方法和设备，对待处理的资讯数据进行特征提取，以确定对应的数据特征；将所述数据特征应用于匹配数据模型以匹配对应的语料，其中所述匹配数据模型包括一递归神经网络，所述递归神经网络包括一附加乘法单元层，所述附加乘法单元层设置于一对连续层之间；基于所述数据特征和所述数据特征所匹配的语料，生成相应的文本内容。本申请改进的时间结构解决了增加隐藏状态的维度对性能的提升有所帮助、但是每个参数的增益并不足以使该方法能与最新技术相抗衡的问题，相较于通常的RNN而言更适于中文建模应用。

技术领域

本申请涉及计算机领域，尤其涉及一种用于根据资讯数据生成文本内容的技术。

背景技术

随着大数据技术的迅速发展，基于神经网络的自动文本生成算法也逐渐得到关注和应用。但是，现阶段的自动文本生成算法难以从文本中提取较高层次的造词、造句知识，且对生成的文本的长度有限制。

参考图1，递归神经网络是在标准神经网络上的一个变形，以允许它对连续数据进行建模。在每个时间步，RNN接收输入，更新其隐藏状态，并进行预测。虽然每个单元使用的非线性十分简单，但随着时间的推移，迭代的RNN单元会产生非常丰富的动态变化。递归神经网络是一个深度前馈神经网络，其隐藏状态(变量权重)随时间共享。RNN丰富的动态变化来源于隐藏单元所使用的非线性激活函数。

标准RNN的形式化如下：给定输入向量序列(x₁,...,x_T)，通过迭代下面的等式，RNN计算一系列隐藏状态(h₁,...,h_T)和一系列输出(o₁,...,o_T)。

从t＝1到t＝T:

h_t＝tanh(W_hxx_t+W_hh h_(t-1)+b_h)   (1)

o_t＝W_oh h_t+b_o   (2)

其中，W_hx是输入到隐藏权重的权重矩阵，W_hh是隐藏权重到下一个时间步的隐藏权重的权重矩阵，W_oh是隐藏权重到输出的权重矩阵，矢量b_h和b_o是偏差变量。在时间步t＝1，W_hh h_(t-1)是未定义的，它被一个特殊初始化的偏差向量h_init代替。tanh是非线性激活函数。

对于采用递归神经网络(Recurrent Neural Network,RNN)以实现文本自动生成的情形而言，尽管RNN的梯度很容易通过由于RNN的参数具有很强的动态调整特性，因此参数之间的关系非常不稳定，最终导致梯度下降算法的使用效果不佳。另一方面，反向传播算法的梯度在某些情况下也会成倍增长，导致极大地增加了梯度的变化，使得模型训练非常的不稳定。由于梯度下降是一段时期内用于训练神经网络的主要算法，这些理论结果和训练RNN的经验导致了RNN研究的近乎停滞。

发明内容

本申请的一个目的是提供一种用于根据资讯数据生成文本内容的方法和设备。

根据本申请的一个方面，提供了一种用于根据资讯数据生成文本内容的方法，该方法包括以下步骤：

对待处理的资讯数据进行特征提取，以确定对应的数据特征；

将所述数据特征应用于匹配数据模型以匹配对应的语料，其中所述匹配数据模型包括一递归神经网络，所述递归神经网络包括一附加乘法单元层，所述附加乘法单元层设置于一对连续层之间；

基于所述数据特征和所述数据特征所匹配的语料，生成相应的文本内容。