[发明专利]一种数据处理方法、装置和用于数据处理的装置

说明书

本发明实施例提供了一种数据处理方法、装置和用于数据处理的装置。其中的方法应用于神经网络，所述神经网络包括：隐层和输出层；所述方法包括：通过所述神经网络的输出层执行：接收输入向量；所述输入向量由所述隐层提供；提供聚类向量；所述原始矩阵由所述隐层或者词嵌入层提供；所述聚类向量为对原始矩阵的第一维度进行聚类得到，所述原始矩阵的第二维度的数量等于所述输入向量的维数；依据所述聚类向量和所述输入向量，确定所述输入向量对应的概率。本发明实施例可以降低输出层的运算量，进而可以提高神经网络的运算性能和处理效率。

技术领域

本发明涉及通信技术领域，尤其涉及一种数据处理方法、装置和用于数据处理的装置。

背景技术

深度学习技术是人工智能技术的一种，在自然语言处理等领域有着重要的应用。神经网络是一种常见的深度学习技术，其通常由称为神经元的计算单元层组成，层与层之间相互连接；神经网络转换数据，直到网络可以输出分类；神经网络的神经元将一个初始值乘以一定的权重，与进入同一神经元的其他值相加，并基于神经元的偏置调整所得结果，接着使用输出层归一化输出。输出层能将一个含任意实数的K(K可以为自然数)维向量“压缩”到另一个K维实向量中，使得每一个元素的范围都在0-1之间，并且使所有元素的和为1；这样，每个元素就代表了属于某个分类的概率。

目前，输出层的处理过程可以包括：将输入向量与输入矩阵相乘，并依据相乘结果得到K维实向量中的元素。

在实际应用中，受到应用需求的影响，输入矩阵的规模可能比较大，这将增加输出层的运算量，进而影响神经网络的运算性能。例如，输入矩阵可能为33276×128，输入向量的维数可以为128，则输出层的运算量可以表述为：128×33276＝4259328，上述运算量容易增加神经网络的运算时间，导致处理效率较低。

发明内容

本发明实施例提供一种数据处理方法、装置和用于数据处理的装置，可以降低输出层的运算量，进而可以提高神经网络的运算性能和处理效率。

为了解决上述问题，本发明实施例公开了一种数据处理方法，应用于神经网络，所述神经网络包括：隐层和输出层；所述方法包括：

通过所述神经网络的输出层执行：

接收输入向量；所述输入向量由所述隐层提供；

提供聚类向量；所述原始矩阵由所述隐层或者词嵌入层提供；所述聚类向量为对原始矩阵的第一维度进行聚类得到，所述原始矩阵的第二维度的数量等于所述输入向量的维数；

依据所述聚类向量和所述输入向量，确定所述输入向量对应的概率。

另一方面，本发明实施例公开了一种数据处理装置，应用于神经网络，所述神经网络包括：隐层和输出层；所述装置包括：

接收模块，用于接收输入向量；所述输入向量由所述隐层提供；

提供模块，用于提供聚类向量；所述原始矩阵由所述隐层或者词嵌入层提供；所述聚类向量为对原始矩阵的第一维度进行聚类得到，所述原始矩阵的第二维度的数量等于所述输入向量的维数；以及

概率确定模块，用于依据所述聚类向量和所述输入向量，确定所述输入向量对应的概率。

再一方面，本发明实施例公开了一种用于数据处理的装置，所述装置应用于神经网络，，所述神经网络包括：隐层和输出层；所述装置包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

接收输入向量；所述输入向量由所述隐层提供；

提供聚类向量；所述原始矩阵由所述隐层或者词嵌入层提供；所述聚类向量为对原始矩阵的第一维度进行聚类得到，所述原始矩阵的第二维度的数量等于所述输入向量的维数；