[发明专利]一种计算同步方法、同步管理装置以及计算单元

说明书

本申请实施例公开了一种计算同步方法、同步管理装置及计算单元。本申请实施例方法包括：获取所述人工神经网络系统中第一神经网络层中的每个计算单元的负载状态信息，并在根据所述第一神经网络层中的每个计算单元的负载状态信息确定所述第一神经网络层中的每个计算单元均完成各自所处理的计算任务后，可以向所述第一神经网络层中的每个计算单元发送同步指示消息。与当前的采用固定时间片的同步方案相比，这种方式可以根据各计算单元计算的数据量动态调整各神经网络层的计算时间片，减少了计算单元的等待时间，提高了计算效率。

技术领域

本申请涉及人工神经网络(artificial neural networks，ANNs)领域，尤其涉及一种计算同步方法、同步管理装置以及计算单元。

背景技术

人工神经网络包括多层神经网络层，一层神经网络层由一个或多个计算单元组成。神经网络层之间互相连接，通过两层神经网络层之间的计算单元互相连接实现。以全连接的方式为例，神经网络层1的每个计算单元，连接神经网络层2的每个计算单元，即可称神经网络层1和神经网络层2之间的连接方式为全连接。

神经网络层内的计算单元之间逻辑并行，神经网络层之间逻辑串行，且神经网络层之间的计算结果的输出相互依赖和影响。例如，神经网络层1和神经网络层2之间全连接，神经网络层1的每个计算单元处理完第一计算任务后，得到计算结果，发送给神经网络层2的每个计算单元，以使得神经网络层2的每个计算单元以接收到的计算结果作为输入数据，开启第二计算任务。由此可知，神经网络层之间，某层神经网络层的工作依赖于上一层神经网络层的计算结果，并在处理当前计算任务得到计算结果后，需要将计算结果发送给下一层神经网络层，下一层神经网络层对该计算结果继续处理。

在通过人工神经网络系统进行神经网络计算时，某层神经网络层若要启动新的计算任务，必须等待上一层神经网络层对其当前的计算任务计算完毕，得到计算结果，该神经网络层才可以启动新的计算任务。当前，主要采用时间片定时的同步机制进行神经网络层之间计算同步。在时间片定时的同步机制中，各神经网络层统一分配固定长度的时间片，时间片长度一般取各神经网络层的计算所需时长的最大值。根据这种方式，即使某一层神经网络层提前完成当前的计算任务，也需要等当前周期的时间片结束后才可以启动新的计算任务。同时，若当前周期的时间片结束时，当前的计算任务仍未完成，那么该神经网络层需要接收并缓存新的数据，造成存储压力，可能造成数据丢失。

发明内容

本申请实施例提供了一种计算同步方法、同步管理装置及计算单元，能够动态调整各神经网络层的计算时间片，提高计算效率。

本申请第一方面提供了一种计算同步方法，所述方法可以应用于人工神经网络系统中。根据该方法，可以获取所述人工神经网络系统中第一神经网络层中的每个计算单元的负载状态信息，其中，所述每个计算单元的负载状态信息分别用于指示对应的计算单元所处理的计算任务的完成情况，所述第一神经网络层包括多个计算单元。在根据所述第一神经网络层中的每个计算单元的负载状态信息确定所述第一神经网络层中的每个计算单元均完成各自所处理的计算任务后，可以向所述第一神经网络层中的每个计算单元发送同步指示消息，所述同步指示消息用于指示所述第一神经网络层中的每个计算单元启动新的计算任务。

在本申请的技术方案中，由于可以根据人工神经网络系统中第一神经网络层中的每个计算单元的负载状态信息来启动新的计算任务，与当前的采用固定时间片的同步方案相比，可以在第一神经网络层中的多个计算单元均完成当前的计算任务后，及时开启新的计算任务。这种方式可以根据各计算单元计算的数据量动态调整各神经网络层的计算时间片，减少了计算单元的等待时间，提高了计算效率，提升了芯片的处理性能和能效比。