[发明专利]用于神经网络的数据处理方法、装置和系统及存储介质

说明书

本发明实施例提供一种用于神经网络的数据处理方法、装置和系统以及存储介质。用于神经网络的数据处理方法包括：对神经网络的第一网络层的层输出结果分别执行至少两个离散定点化操作，以获得至少两个离散定点化结果，其中，至少两个离散定点化操作彼此之间采用不同的定点化参数；以及基于至少两个离散定点化结果确定神经网络的第二网络层的输入数据。上述数据处理方法在计算量不变的情况下可以提升输出数据携带的信息量，并且可以提高神经网络的数据处理效果。

技术领域

本发明涉及计算机领域，更具体地涉及一种用于神经网络的数据处理方法、装置和系统以及存储介质。

背景技术

神经网络在图像识别、语音识别等领域中已经有了广泛且成功的应用。目前大多数神经网络在处理数据的时候采用的是浮点运算，浮点运算的信息量大，所需的计算量也大，难以在专用硬件(例如FPGA)上高效运行。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种用于神经网络的数据处理方法、装置和系统以及存储介质。

根据本发明一方面，提供了一种用于神经网络的数据处理方法。用于神经网络的数据处理方法包括：对神经网络的第一网络层的层输出结果分别执行至少两个离散定点化操作，以获得至少两个离散定点化结果，其中，至少两个离散定点化操作彼此之间采用不同的定点化参数；以及基于至少两个离散定点化结果确定神经网络的第二网络层的输入数据。

示例性地，基于至少两个离散定点化结果确定神经网络的第二网络层的输入数据包括：将至少两个离散定点化结果合并在一起，以获得合并结果作为第二网络层的输入数据。

示例性地，将至少两个离散定点化结果合并在一起，以获得合并结果作为第二网络层的输入数据包括：通过信道拼接、加法操作和位操作之一的方式将至少两个离散定点化结果合并在一起，以获得合并结果。

示例性地，至少两个离散定点化结果为长度相同且宽度相同的至少两个张量，通过信道拼接的方式将至少两个离散定点化结果合并在一起，以获得合并结果包括：将至少两个离散定点化结果沿着信道维度进行拼接，以获得合并结果。

示例性地，第二网络层包括至少两组分立网络层，基于至少两个离散定点化结果确定神经网络的第二网络层的输入数据包括：至少两组分立网络层分别接收至少两个离散定点化结果中的一个离散定点化结果作为对应分立网络层的输入数据。

示例性地，方法还包括：将至少两个离散定点化结果分别输入至少两组分立网络层中的对应一组分立网络层，以获得至少两组分立网络层分别输出的至少两个输出结果；将至少两个输出结果合并在一起，以获得合并结果作为神经网络的第三网络层的输入数据。

示例性地，将至少两个输出结果合并在一起，以获得合并结果作为神经网络的第三网络层的输入数据包括：通过信道拼接、加法操作和位操作之一的方式将至少两个输出结果合并在一起，以获得合并结果。

示例性地，至少两个输出结果为长度相同且宽度相同的至少两个张量，通过信道拼接的方式将至少两个输出结果合并在一起，以获得合并结果包括：将至少两个输出结果沿着信道维度进行拼接，以获得合并结果。

示例性地，对神经网络的第一网络层的层输出结果分别执行至少两个离散定点化操作，以获得至少两个离散定点化结果包括：对于至少两个离散定点化操作中的每一个，将层输出结果中的每个元素映射到该离散定点化操作采用的定点数集合中，确定与层输出结果中的每个元素对应的定点数，以获得对应的离散定点化结果。

示例性地，至少两个离散定点化操作彼此之间采用不同的定点数映射关系，定点化参数包括定点数映射关系。

示例性地，至少两个离散定点化操作彼此之间采用不同的定点数集合，定点化参数还包括定点数集合。