[发明专利]图形处理器的数据处理方法、文本处理方法、装置和设备

权利要求书

1.一种图形处理器的数据处理方法，其特征在于，包括：

通过应用层接收终端设备发送的文本数据；

通过接口层调用BERT模型的前部分网络层中的卷积运算模块对所述文本数据进行特征提取，得到文本特征矩阵；所述文本特征矩阵包括多个二维特征矩阵；

通过所述接口层调用BERT模型中的归一化处理模块，并通过归一化处理模块分别对各个二维特征矩阵的各组数据元素进行归一化处理，获得归一化处理后的文本特征矩阵，所述各组数据元素中的每一组数据元素为二维特征矩阵中的一行数据元素或一列数据元素：

通过所述接口层调用BERT模型的后部分网络层中的卷积运算模块对归一化处理后的文本特征矩阵进行处理，得到所述文本数据的语义向量；其中，所述前部分网络层为在所述归一化处理模块之前执行的网络层；所述后部分网络层为在所述归一化处理模块之后执行的网络层；

其中，通过归一化处理模块分别对各个二维特征矩阵的各组数据元素进行归一化处理时，采用以下方法：

图形处理器读取一组数据元素；

确定所述一组数据元素的均值、平方均值以及方差，所述方差是根据所述一组数据元素的平方均值与均值的平方之间的差值确定的；

根据所述均值和所述方差分别对所述一组数据元素中的每个数据元素进行归一化处理，得到所述一组数据元素对应的一组归一化值；

保存得到的一组归一化值。

2.根据权利要求1所述的方法，其特征在于，确定所述一组数据元素的均值、平方均值以及方差，包括：

通过一次规约求和操作确定所述一组数据元素的和以及平方和；

根据所述一组数据元素的和以及平方和确定所述一组数据元素的均值、平方均值以及方差，所述均值为所述一组数据元素的和除以所述一组数据元素的个数，所述平方均值为所述一组数据元素的平方和除以所述一组数据元素的个数。

3.根据权利要求1所述的方法，其特征在于，

所述图形处理器读取一组数据元素，包括：所述图形处理器调用多个线程从显存中读取一组数据元素；其中，每个线程分别读取一个或多个数据元素；

所述确定所述一组数据元素的均值、平方均值以及方差，包括：

所述多个线程协同确定所述一组数据元素的和以及平方和；

所述多个线程中的指定线程获得所述均值、平方均值以及方差，所述均值为所述一组数据元素的和除以所述一组数据元素的个数，所述平方均值为所述一组数据元素的平方和除以所述一组数据元素的个数；

根据所述均值和所述方差分别对该组数据元素中的每个数据元素进行归一化处理，包括：

所述指定线程将得到的所述均值和所述方差保存至所述多个线程的共享内存中，并根据所述均值和所述方差对自己读取的数据元素进行归一化处理；

所述多个线程中除指定线程以外的每个线程从所述共享内存中获取均值和方差，并对自己读取的数据元素进行归一化处理；

所述保存得到的一组归一化值，包括：每个线程分别将自己得到的归一化值写入所述显存中。

4.根据权利要求1～3中任一项所述的方法，其特征在于，所述一组数据元素为二维特征矩阵中的一行数据元素或一列数据元素；

所述二维特征矩阵是根据待处理的源数据生成的；所述待处理的源数据为文本数据。