[发明专利]文本处理模型的运行方法、装置、电子设备、及存储介质

权利要求书

1.一种文本处理模型的运行方法，所述文本处理模型包括至少一个编码器层和至少一个解码器层，其特征在于，包括：

获取输入文本向量；

将所述文本向量输入至少一个编码器层进行处理，以形成隐含层向量；

将所述隐含层向量输入至少一个解码器层进行处理，以生成输出文本向量；

其中，在所述编码器层和/或解码器层的数据计算过程中，调用组合核函数对数据进行处理，所述组合核函数包括至少两个基础核函数，所述基础核函数用于完成数据的数学级别计算，所述组合核函数用于完成数据的功能级别计算。

2.根据权利要求1所述的方法，其特征在于：

所述基础核函数包括下述至少一个：矩阵行平均、矩阵行方差、以及矩阵点乘；

所述组合核函数包括标准化处理函数，包括矩阵行平均、矩阵行方差以及矩阵点乘。

3.根据权利要求1或2所述的方法，其特征在于，在所述编码器层和/或解码器层的数据计算过程中，调用组合核函数对数据进行处理包括：

在所述编码器层和/或解码器层的数据计算过程中，分配线程组给调用的组合核函数，并从显存空间中读入数据；

通过线程组运行所述组合核函数，并利用线程组通信方式，将组合核函数计算过程的中间数据在寄存器中进行读写；

将所述组合核函数的最终输出数据写入显存空间中。

4.根据权利要求1所述的方法，其特征在于，在所述编码器层和/或解码器层的数据计算过程之前，还包括：

为所述编码器层和/或解码器层的至少一个计算模块分配固定位置的显存空间；其中，所述显存空间的大小固定，且在无数据读写时保持为空置状态。

5.根据权利要求4所述的方法，其特征在于，至少两个存在分时计算关系的所述计算模块被分配的显存空间是复用的相同空间。

6.根据权利要求5所述的方法，其特征在于，复用相同显存空间的计算模块包括下述至少一组：

间隔的两个编码器层的自注意力机制模块。

7.根据权利要求4所述的方法，其特征在于，所述显存空间的大小由输入文本向量的最大值来确定。

8.根据权利要求1所述的方法，其特征在于，在所述编码器层和/或解码器层的数据计算过程中，还包括：

采用逻辑等价计算模块对数据进行处理。

9.根据权利要求8所述的方法，其特征在于，采用逻辑等价计算模块对数据进行处理包括：

采用拼接权重计算模块，对所述输入文本向量的序列向量进行矩阵计算，生成所述序列向量的拼接矩阵；

其中，所述拼接权重计算模块包括拼接在一起的查询权重计算矩阵、关键权重计算矩阵和数值权重计算矩阵；所述序列向量的拼接矩阵包括拼接在一起的查询权重矩阵、关键权重矩阵和数值权重矩阵。

10.根据权利要求8所述的方法，其特征在于，采用逻辑等价计算模块对数据进行处理包括：

在解码器层的数据处理过程中，通过softmax函数确定输出位的文本及文本可信概率；

其中，对于当前输出位，保留文本可信概率满足设定条件的部分文本及文本可信概率，以可变向量的形式，传输给下一输出位进行文本及文本可信概率的计算。

11.根据权利要求1-10任一所述的方法，其特征在于，所述文本处理模型包括顺序相连的多个编码器层和顺序相连的多个解码器层，最后一个编码器层和各个解码器层之间传输隐含层向量；每个所述编码器层至少包括自注意力机制层和前馈神经网络层；每个所述解码器层至少包括自注意力机制层、编解码注意力机制层和前馈神经网络层。