[发明专利]数据处理方法及设备、处理芯片

说明书

本发明实施例提供了一种数据处理方法及设备、处理芯片，涉及数据处理技术领域。数据处理方法包括：将待处理的音视频信号编码为持续多个脉冲周期的输入脉冲信号；在脉冲神经网络的多层被依次映射到处理芯片时，处理芯片基于多个脉冲周期的输入脉冲信号，得到在各脉冲周期内脉冲神经网络的输出脉冲信号；根据各脉冲周期内脉冲神经网络的输出脉冲信号，得到音视频信号经过脉冲神经网络处理后的处理结果。本发明中，在利用脉冲神经网络对包括多个脉冲周期的输入脉冲信号的处理时，先对周期进行流线运算，然后再对层进行流线运算，从而能够利用单个处理芯片实现复杂脉冲神经网络的流线运算，降低了对处理芯片的算力要求。

技术领域

本发明涉及数据处理技术领域，具体涉及一种数据处理方法及设备、处理芯片。

背景技术

深度神经网络(Deep Neural Networks，简称DNN)的研究近年来取得了飞速发展并得到初步应用。然而深度神经网络算法通常需要消耗大量的算力，大量的算力消耗也会带来更大的功耗，例如经典的深度卷积网络(CNN)模型AlexNet，需要进行至少7.2亿次的乘法运算，一般功耗在10瓦到100瓦左右。

为了提升分类精度，深度神经网络的结构也越来越复杂，目前已经出现超过了1000层的深度神经网络，即使在边缘端，深度神经网络一般都需要50层左右。由于芯片算力资源和存储资源的限制，在对复杂的深度神经网络进行硬件加速时，由于芯片计算资源、存储资源的限制，很少能够将整个深度神经网络一次性映射到芯片上。目前一般会采用流线化运算方式，例如将第一层映射到芯片上，芯片进行运算，同时将第二层的权重准备好，芯片将第一层算完后，进行第二层运算。以此类推，直到全部层运算完毕。

脉冲神经网络(Spiking Neural Network，简称SNN)近年来以其低功耗和更接近人脑的特点吸引了学术界和产业界的关注。在脉冲神经网络中，轴突是接收脉冲的单元，神经元是发送脉冲的单元，一个神经元通过树突连接到多个轴突，树突和轴突的连接点称为突触。轴突接收到脉冲后，所有和这一轴突有突触连接的树突会收到脉冲，进而影响到树突下游神经元。神经元将来自多个轴突的脉冲相加并与之前的膜电压累加，如果数值超过阈值，就向下游发送一个脉冲。脉冲神经网络内传播的是1比特的脉冲，脉冲的激活频率比较低，并且只需要加减法运算，没有乘法运算，算力消耗和功耗都较深度神经网络更低；由此，可以将深度神经网络脉冲化转成脉冲神经网络，从而能够充分利用脉冲神经网络的低功耗优势。

然而，用脉冲神经网络硬件对脉冲化后的深度神经网络进行加速时，也遇到资源不足的问题。若脉冲化后的深度神经网络的规模较大，需要将该网络映射到多片芯片，多片芯片并行工作，则会导致成本过高的问题。

发明内容

本发明的目的是提供了一种数据处理方法及设备、处理芯片，在利用脉冲神经网络对包括多个脉冲周期的输入脉冲信号的处理时，先对周期进行流线运算，然后再对层进行流线运算，从而能够利用单个处理芯片实现复杂脉冲神经网络的流线运算，降低了对处理芯片的算力要求；同时，适用于深度神经网络脉冲化得到的脉冲神经网络，避免了复杂网络需要映射到多个芯片带来的成本消耗。

为实现上述目的，本发明提供了一种数据处理方法，包括：将待处理的音视频信号编码为持续多个脉冲周期的输入脉冲信号；在脉冲神经网络的多层被依次映射到处理芯片时，所述处理芯片基于多个脉冲周期的所述输入脉冲信号，得到在各所述脉冲周期内所述脉冲神经网络的输出脉冲信号；根据各所述脉冲周期内所述脉冲神经网络的输出脉冲信号，得到所述音视频信号经过所述脉冲神经网络处理后的处理结果。

本发明还提供了一种处理芯片，用于执行上述的数据处理方法。

本发明还提供了一种数据处理设备，包括：上述的处理芯片。