[发明专利]一种算子编译方法及装置

说明书

为了解决神经网络模型执行过程中存在大量重复编译的问题，本方案提供一种算子编译方法及装置，该方法包括，第一设备获取第一算子文件；若所述第一设备根据所述第一算子文件确定所述第一设备的缓存中存储有第一执行文件，则向第二设备发送指示信息，其中，所述第一执行文件是编译所述第一算子文件得到的二进制文件，所述指示信息用于指示所述第二设备执行所述第一执行文件。

技术领域

本申请涉及人工智能领域，尤其涉及一种算子编译方法及装置。

背景技术

人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学，1956年由约翰·麦卡锡首次提出。人工智能的目的就是让机器能够像人一样思考，让机器拥有智能。时至今日，人工智能的内涵已经大大扩展，以深度强化学习及大数据为基础，由卷积神经网络模型与参数训练技巧的进步、硬件计算能力突破摩尔定律提供可观的计算能力以及互联网加上海量大数据集等多方面的因素推动，在文本分类(text classification)，序列标注(sequence labeling)，神经机器翻译(neuralmachine translation)，关系抽取(relation extraction)，事件抽取(eventextraction)，图像分类(image classification)，视觉推理(visual reasoning)，语义分割(semantic segmentation)等众多领域都有了一些应用。

开发者或研究人员可以设计不同的神经网络模型，比如人脸识别模型、语音识别模型等。每次执行神经网络模型的过程中，主机设备(host)需要将模型文件对应的多个算子文件中每个算子文件编译得到二进制文件，主机设备将每个算子文件对应的二进制文件发送至目标设备(device)，目标设备执行每个算子文件对应的二进制文件，得到执行结果。

该方式中，每执行一次神经网络模型，主机设备都需要对模型文件对应的多个算子文件中每个算子文件编译，存在大量重复编译，编译效率低。

发明内容

本申请提供一种算子编译方法及装置，用于在多次调用模型或多次调用单算子中，避免重复编译，减少不必要的资源浪费，有助于提高执行模型的速度。

第一方面，本申请提供一种算子编译方法，该方法包括：

第一设备获取第一算子文件；若所述第一设备根据所述第一算子文件确定所述第一设备的缓存中存储有第一执行文件，则向第二设备发送指示信息，其中，所述第一执行文件是编译所述第一算子文件得到的二进制文件，所述指示信息用于指示所述第二设备执行所述第一执行文件。

在一种可能的实现方式中，还包括：若所述第一设备根据所述第一算子文件确定所述第一设备的缓存中未存储有所述第一执行文件，则编译所述第一算子文件得到所述第一执行文件；所述第一设备将所述第一执行文件存储于所述第一设备的缓存中，向所述第二设备发送所述指示信息。

基于该方案，第一设备获取第一算子文件，若确定第一设备的缓存中存储有第一执行文件，则不再编译该第一算子文件；若确定第一设备的缓存中未存储有第一执行文件，则编译该第一算子文件，并将得到的第一执行文件存储至第一设备的缓存中。通过上述方式，避免在多次调用模型或多次调用单算子中，第一设备重复编译模型文件中算子文件，或重复编译单算子文件，减少不必要的资源浪费，有助于提高执行模型的速度。

在一种可能的实现方式中，所述第一设备根据所述第一算子文件确定所述第一设备的缓存中存储有第一执行文件，包括：所述第一设备确定第一算子文件的特征信息；所述第一设备根据所述第一算子文件的特征信息，确定所述第一设备的缓存中存储有所述第一执行文件。

在一种可能的实现方式中，所述第一算子文件中包括算子源代码和算子输入参数，所述第一设备确定第一算子文件的特征信息，包括：所述第一设备将所述算子源代码和所述算子输入参数拼接为字符串；所述第一设备确定所述字符串的哈希值为所述第一算子文件的特征信息。