[发明专利]一种基于SIMT编程模型的张量化并行计算方法

权利要求书

1.一种基于SIMT编程模型的张量化并行计算方法，其特征在于，基于主机端、转换单元和设备端之间的交互实现对数据的张量化运算处理，所述方法包括：

所述主机端获取任务信息和设备端信息，所述任务信息包括任务指令、第一数据信息和预设结果信息，所述设备端信息包括张量元信息；所述主机端根据所述第一数据信息获取第一数据；根据所述预设结果信息配置主机端存储空间，并获取与所述主机端存储空间对应的主机端存储地址信息；

所述主机端发送第一转换指令和第一转换信息至所述转换单元，使所述转换单元根据所述第一转换信息，将以标量为数据单元的所述第一数据转换为以张量元为数据单元的第二数据，并存储至所述设备端中；

所述主机端发送所述任务指令至所述设备端，使所述设备端以张量元为计算单元运算处理所述第二数据以获得第一结果，并返回第一结果信息至所述主机端中；

所述主机端接收所述第一结果信息后，发送第二转换指令和第二转换信息至所述转换单元，使所述转换单元根据所述第二转换信息，将所述第一结果转换为以标量为数据单元的第二结果，并将所述第二结果存储至所述主机端存储空间。

2.根据权利要求1所述的SIMT编程模型的张量化并行计算方法，其特征在于，所述主机端发送第一转换指令和第一转换信息至所述转换单元，使所述转换单元根据所述第一转换信息，将以标量为数据单元的所述第一数据转换为以张量元为数据单元的第二数据，并存储至所述设备端中，包括：

所述主机端发送所述第一转换指令、所述张量元形状信息、第一数据形状信息和第一数据存储地址信息，以使所述转换单元根据所述第一数据形状信息和所述张量元形状信息，获取用于存储所述第二数据的第二数据存储空间大小和所述第二数据形状信息，并发送所述第二数据存储空间大小至所述设备端，从而使所述设备端根据所述第二数据存储空间大小分配设备端存储空间并将所述设备端存储空间的存储地址作为第二数据存储地址信息返回所述转换单元；以及，使所述转换单元根据所述第一数据形状信息、所述第一数据存储地址信息、所述张量元形状信息、所述第二数据形状信息和所述第二数据存储地址信息生成不同的第一搬移指令；所述第一搬移指令用于复制所述第一数据中与所述第一搬移指令对应的张量元，并将各所述张量元存储至所述设备端存储空间中。

3.根据权利要求2所述的SIMT编程模型的张量化并行计算方法，其特征在于，所述主机端发送所述任务指令至所述设备端，使所述设备端以张量元为计算单元运算处理所述第二数据以获得第一结果，包括：

所述主机端发送所述任务指令至所述设备端，使所述设备端检测所述任务指令中的指令函数，并使所述设备端于检测到所述指令函数为对张量元进行运算处理的函数时，调用以张量元为计算单元的小核函数，以实现对所述第二数据中各张量元的运算处理获得所述第一结果。

4.根据权利要求2或3所述的SIMT编程模型的张量化并行计算方法，其特征在于，所述主机端接收所述第一结果信息后，发送第二转换指令和第二转换信息至所述转换单元，使所述转换单元将所述第一结果转换为以标量为数据单元的第二结果，并将所述第二结果存储至所述主机端存储空间，包括：

所述主机端接收所述设备端返回的第一结果形状信息和第一结果存储地址信息后，发送所述第二转换指令、所述张量元形状信息、所述第一结果形状信息、所述第一结果存储地址信息，以及所述预设结果信息和所述主机端存储地址信息至所述转换单元，使所述转换单元生成不同的第二搬移指令，所述第二搬移指令用于复制所述第一结果中与所述第二搬移指令对应的数据条带，并将各所述数据条带存储至所述主机端存储空间。