[发明专利]重塑和广播优化以避免不必要的数据移动

说明书

方法、系统和装置，包括编码在计算机存储介质上的计算机程序，用于变换计算图中张量上的操作的模式，以在执行重塑操作时，特别是在向具有要求对齐操作符的向量指令或向量存储的硬件平台进行部署时，减少所引起的存储负担。

背景技术

TensorFlow库可以用于创建机器学习模型，例如，递归神经网络(“RNN”)模型、卷积神经网络(“CNN”)模型、前馈神经网络模型和随机森林模型。(TensorFlow在Abadi等人的如下文献中进行了描述：《TensorFlow：用于大规模设计和实现的系统》(OSDI’16),第265-283页，2016年11月2-4日。该软件可从https://tensorflow.org获得)

TensorFlow库可以用于将机器学习模型表示为TensorFlow图。TensorFlow图中的每个节点表示一操作。TensorFlow图中的每条边是有向的，并且表示流入或流出该边所连接的节点的数据流。数据采用零维或多维张量的形式，其中每个元素具有相同的数据类型，例如，32位整数、双长度浮点数或字符串。张量由在外部有成对括号“[]”的向量表示。例如，3个元素的一维(1D)张量(又称为向量)会被表示为[1,2,3]。零维张量是标量。二维(2D)张量会被表示为[[1,2,3],[4,5,6]]。该张量的阶，即唯一地选择张量的每个元素所需的维数或索引数，为2。该张量的形状是[2,3]。第零维度中的元素数为2，即两个向量(1D张量)[1,2,3]和[4,5,6]；而第一维度中的元素数为3；也就是说，向量[1,2,3]和[4,5,6]中的每个具有三个元素。张量的形状本身是1D张量。正如在许多编程环境中惯常的，维度的编号从零开始。

在本说明书中，将使用用于构建和执行TensorFlow图的Python API来表达示例。TensorFlow模块可以这样加载：

import tensorflow as tf

TensorFlow操作包括形状(shape)、重塑(reshape)、广播(broadcast)和归约(reduce)操作。这些将在下面描述，从描述中省略对本说明书不重要的参数和方面。

当执行时，形状操作将输入张量的形状(即维度)返回为1D张量。在以下示例中：

X＝tf.constant([[[1,1,1],[2,2,2]],[[3,3,3],[4,4,4]]])

tf.shape(X)

形状操作返回张量[2,2,3]，其表示张量X的维度。

当执行时，重塑操作返回的张量具有与输入张量顺序相同的相同元素值但是具有由形状张量输入定义的形状。在以下示例中，

X＝tf.constant([[[1,1],[2,2]],[[3,3],[4,4]]])

tf.reshape(X,[2,4])

重塑操作接收张量X和表示期望形状的一维张量[2,4]作为输入参数。重塑操作返回张量[[1,1,2,2],[3,3,4,4]]，其具有与输入张量X相同的元素并且具有期望形状，即[2,4]。输入到重塑操作的期望形状可以比输入张量所具有的更多或更少的维度。

广播操作包括broadcast_to。广播是制作具有用于算术运算的兼容形状的数组的过程。如果对于两个形状各自的对应维度对，维度相等或其中之一为一，则这两个形状是兼容的。当张量被广播到一形状时，操作从后缘维度(trailing dimension)开始并向前进行。

因此，当执行时，broadcast_to操作返回的张量为根据需要而复制许多次直到达到所请求的指定形状的输入张量。在以下示例中：

V＝tf.constant([7,8])

tf.broadcast_to(V,[2,3])