[发明专利]一种模型计算方法及系统

说明书

本申请公开了一种模型计算方法及系统。本申请将一个模型切分为第一子模型和第二子模型两个子模型，并在存储端计算第一子模型，在主机端计算第二子模型，并在计算过程中，使存储端和主机端同步第一子模型和第二子模型所需的数据。如此一来，存储端要向主机端传输的数据量就会少一些，而主机端要向存储端传输的数据量就会多一些，故上行通道和下行通道所传输的数据量不会有较大差异，并且上下行通道所传输的总数据量将会大大减少，能够缓解数据读取到主机端的堵塞情况，降低数据传输的功耗与时延，有效提升了系统总线的使用率和整体性能。相应地，本申请提供的一种模型计算系统，也同样具有上述技术效果。

技术领域

本申请涉及计算机技术领域，特别涉及一种模型计算方法及系统。

背景技术

当前针对人工智能计算吞吐效率的提升，主要通过增加并行算力或提升带宽来解决。比如，通过在GPU中增加更多的计算内核增加并行算力，又如在乘法器输入时保持卷积核对应的缓存的存储值不变，以释放冗余的带宽占用。但是，目前的提升与优化主要是关注主机端范围，很少有技术关注从存储器端优化并提升带宽的使用，从而提升系统智能计算的效率。

随着主机端算力的提高，数据带宽的时延问题越来越凸显。当前，人工智能应用比较广泛的图像领域，多使用卷积神经网路做训练和推理，数据的传输时间占去了整个任务不小的比例，有的情况下还成为了计算效率提升的瓶颈。比如，一个AI台式工作站的例子，现在百万级的摄像头拍摄的一张照片大概4～5MB以上，一个高性能的计算显卡一次可以批处理16张图片，大概需要0.5～1秒的时间；但是，传输一次批处理的16张照片，如果使用SATA协议的固态硬盘，可能需要传输0.2秒，使用机械盘需要传输0.5秒以上。在高性能的AI服务器上，这个问题同样存在，比如一个拥有8个AI处理器的服务器，每0.1秒可以同时处理8个批次的照片，每个批次16张图片，如果使用双通道SATA固态硬盘向计算单元传输这些图像数据，需要1秒的时间，即使使用当前最快的NVMe协议的固态硬盘，一个接口的情况下时间也会超过0.1秒。

由此可见，数据传输的时延或是数据带宽的瓶颈问题对人工智能计算效率的影响不可忽视。例如：数据存在存储端，模型在主机端运行，模型运行过程中，主机需要频繁从存储端读取数据，同时有相对较少的数据需要写入存储。可见，从存储端至主机端的上行通道所传输的数据量，远大于从主机端至存储端的下行通道所传输的数据量，导致上行通道和下行通道所传输的数据量不均，且上行通道由于需要传输的数据量大而容易堵塞。目前单纯的增强总线、扩展存储接口不仅增加成本与功耗，而且会加大系统负担，实质上述方式对于系统整体性能的提升有限，无法有效解决当前面临的问题。

因此，如何解决AI计算过程中的数据传输时延和数据带宽瓶颈问题，是本领域技术人员需要解决的问题。

发明内容

有鉴于此，本申请的目的在于提供一种模型计算方法及系统，以解决AI计算过程中的数据传输时延和数据带宽瓶颈问题。其具体方案如下：

第一方面，本申请提供了一种模型计算方法，包括：

获取目标模型，所述目标模型至少有两个组成部分；

按照每个组成部分运行时所需的资源量，对所述目标模型进行切分，以将所述目标模型切分为与设有AI计算模块的存储端对应的第一子模型，以及与主机端对应的第二子模型；所述第一子模型和所述第二子模型分别包括至少一个组成部分；

在所述存储端计算所述第一子模型，在所述主机端计算所述第二子模型，并在计算过程中，使所述存储端和所述主机端同步所述第一子模型和所述第二子模型所需的数据。

优选地，计算所述存储端的第一子模型所需的资源量小于计算主机端的第二子模型所需的资源量。

优选地，若正向传播时所述存储端的第一子模型输出的第一结果是所述主机端的第二子模型的输入数据，则所述使所述存储端和所述主机端同步所述第一子模型和所述第二子模型所需的数据，包括：