[发明专利]人工智能芯片及运算板卡、数据处理方法及电子设备

说明书

一种AI芯片及运算板卡、数据处理方法及电子设备，用于提高AI芯片的处理效率。该AI芯片包括：依次连接的第一流水线模块和运算电路，第一流水线模块包括转换电路及与转换电路连接的多个缓冲器；其中，转换电路用于获取待转换的第一特征的数据，将第一特征的数据转换成第二特征的数据，第二特征的数据为运算电路进行运算时所适用的数据；并将第二特征数据交替式写入多个缓冲器；运算电路用于当多个缓冲器中一个缓冲器写满时，从已写满的缓冲器中读取第二特征的数据，对第二特征的数据进行运算，得到结果数据。本申请实施例中，增加硬件专用模块支持数据的转换功能，简化软件侧的算子调用，提升整体性能和简化调用开销和流程。

技术领域

本申请涉及人工智能芯片领域，尤其涉及人工智能芯片及运算板卡、数据处理方法及电子设备。

背景技术

当前，随着智能设备的普及，人工智能(artificial intelligence,AI)技术迅速发展。人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

作为人工智能领域重要的一个研究方向，通过深度学习(例如卷积神经网络)对高数量的样本进行不断地训练，获取样本具有的特征信息。这些特征信息在接触到一个新的测试样本时可以对照其中的特征信息进行识别，模型应用于机器中，使得机器获得类似人的识别能力。在样本训练，信息提取等阶段会涉及非常大的计算量，在这个运算这个过程中需要AI芯片对大量的数据进行运算。

如图1所示，AI芯片包括数据预处理模块(data preprocess)、缓存器(Cache)和运算电路。其中，由于运算电路对待处理的数据有要求，例如，对于数据的格式有要求(如需要数据为5D格式)。因此，数据预处理模块在进行数据转换时，需要软件介入调用多个算子，将多个算子映射到数据预处理模块，数据处理模块对数据进行转换。在软件侧，这些算子在调用时被视为额外的算子调用，增加软件侧算子调用次数，从而增加软件侧的执行开销，影响整体性能。并且通过调用算子映射到数据处理模块的方式中，数据处理模块需要对所有数据进行转换后，运算电路再进行计算，运算电路执行的过程中有等待的时间，芯片运算效率降低。

发明内容

本申请实施例提供了一种人工智能芯片及运算板卡、数据处理方法及电子设备，用于提高人工智能芯片的处理效率。

第一方面，本申请实施例提供了一种人工智能芯片，该AI芯片包括：依次连接的第一流水线模块和运算电路，第一流水线模块包括转换电路及与转换电路连接的多个缓冲器；其中，转换电路用于获取待转换的第一特征的数据，将第一特征的数据转换成第二特征的数据，第二特征的数据为运算电路进行运算时所适用的数据；转换电路将第二特征数据交替式写入多个缓冲器，其中，交替式写入多个缓冲器是指，将数据写入第一个缓冲器，当该缓冲器写满后，将数据继续写入第二个缓冲器，直到最后一个缓冲器被写满，然后，切换状态，再将数据写入第一个缓冲器，将数据写入第二个缓冲器等的循环操作；运算电路用于当多个缓冲器中一个缓冲器写满时，从已写满的缓冲器中读取第二特征的数据，对第二特征的数据进行运算，得到结果数据，并输出结果数据。

本示例中，在AI芯片中增加第一流水线模块，第一流水线模块中包括转换电路和多个缓冲器，例如，该转换电路用于支持连续转换和/或格式转换功能。本申请中，增加硬件专用模块，支持数据的转换功能，转换电路将第二特征数据交替式写入多个缓冲器，多个缓冲器用于实现乒乓缓存机制。当多个缓冲器中的一个缓冲器写满时，运算电路就可以启动，对读取到的数据进行运算。本申请中，不需要多次调用算子，来对数据进行预处理满足运算电路对于数据的要求，简化软件侧的算子调用，提升整体性能和简化调用开销和流程。并且，转换电路将转换之后的数据交替式写入多个缓冲器，当一个缓冲器写满后，运算电路直接从已写满的缓冲器读取数据，基于乒乓缓存机制实现细流水线操作，运算电路和转换电路并行处理数据，运算电路无需等待时间，相对于传统方法中，需要将所有数据进行预处理后，再进行运算的方法，本申请中，极大的提高芯片的处理效率。