[发明专利]提高深度学习模型预测能力的方法、电子设备和存储介质

说明书

本申请提供一种提高深度学习模型预测能力的方法、电子设备和存储介质，包括：向待测试设备发送多组矩阵，以使待测试设备对每组矩阵中的至少两个矩阵进行矩阵乘运算并输出运算结果，每组矩阵的维度信息不同，矩阵的维度信息用于指示矩阵乘运算的运算量和数据量；获取每个运算结果的运算时间；根据每组矩阵中的至少两个矩阵的维度信息、结果矩阵的维度信息，以及每个运算结果的运算时间，获取待测试设备的roofline模型；根据待测试设备的roofline模型，对待测试设备进行处理。本申请采用不同维度的矩阵乘运算能够快速获取设备的roofline模型，以提高待测试深度学习模型的预测性能。

技术领域

本申请涉及计算机技术领域，尤其涉及一种提高深度学习模型预测能力的方法、电子设备和存储介质。

背景技术

随着深度学习的不断发展，多种多样的深度学习模型层出不穷。通过不同的硬件设备(如GPU、TPU、CPU或ASIC)对同一个深度学习模型的预测性能(如需要多少次计算才能完成一次前馈)进行验证时，获取的深度学习模型的预测性能往往不同。深度学习模型的预测性能与硬件设备的运算性能(运算量/运算时间)和模型的运算强度(运算量/数据量)紧密相关。为了准确的获取深度学习模型的预测性能，需要根据硬件设备的运算性能和深度学习模型的运算强度对硬件设备进行改善处理。硬件设备的屋顶roofline模型用于表征硬件设备的运算性能和运算强度，因此，获取硬件设备的roofline模型至关重要。

现有技术中，通过在硬件设备中运算具有不同运算量和数据量的深度学习模型直至该模型输出结果，来获取硬件设备的运算强度和运算性能，进而获取硬件设备的roofline模型(横坐标为运算强度，纵坐标为运算性能)。

目前，在通过上述方式获取硬件设备的roofline模型时，为了确保所获取的roofline模型的准确性，需要选取运算强度分布范围大的多个深度学习模型，选取过程较为复杂，造成获取roofline模型的效率低，进而导致设备处理的效率低。

发明内容

本申请提供一种提高深度学习模型预测能力的方法、电子设备和存储介质，能够快速获取设备的roofline模型，以提高待测试深度学习模型的预测性能。

本申请的第一方面提供一种提高深度学习模型预测能力的方法，包括：

向待测试设备发送多组矩阵，以使所述待测试设备对每组所述矩阵中的至少两个矩阵进行矩阵乘运算并输出运算结果，所述运算结果为结果矩阵，其中每组所述矩阵具有不同的维度信息，所述维度信息用于指示矩阵乘运算的运算量和数据量，其中每组所述矩阵包括至少两个矩阵，所述每组矩阵的维度信息包括至少两个矩阵的维度信息；

获取所述待测试设备输出每个所述运算结果的运算时间；

根据每组所述矩阵中的至少两个矩阵的维度信息、每组所述矩阵对应的结果矩阵的维度信息，以及所述待测试设备获取每个所述运算结果的运算时间，获取所述待测试设备的roofline模型；

根据待测试深度学习模型的运算量和数据量，以及所述待测试设备的roofline模型，对所述待测试设备进行处理，以提高所述待测试深度学习模型的预测性能，所述待测试设备用于对所述待测试深度学习模型进行运算。

可选的，每组所述矩阵中包括第一矩阵和第二矩阵，所述第一矩阵的列数和所述第二矩阵的行数相同。

可选的，所述向待测试设备发送多组矩阵之前，还包括：

接收多个维度信息，根据所述多个维度信息生成每个所述维度信息对应的每组所述矩阵。

可选的，每组所述矩阵的维度信息包括：所述第一矩阵的维度信息和第二矩阵的维度信息；所述获取所述待测试设备的roofline模型，包括：

根据每组所述矩阵中所述第一矩阵的维度信息、所述第二矩阵的维度信息、所述结果矩阵的维度信息，获取每组所述矩阵对应的矩阵乘的运算量和数据量；