[发明专利]文本处理方法、装置、系统、设备以及存储介质

权利要求书

1.一种文本处理方法，包括：

采用文本处理加速算子对第一文本进行文本处理；以及

采用所述文本处理加速算子对文本处理后的内容进行并行加速；

其中，采用所述文本处理加速算子对所述第一文本进行文本处理，包括：

获取所述第一文本对应的第一张量；其中，所述第一文本包括字符串，所述第一张量为字符串张量；

对所述第一张量进行切分，得到多个切分结果；

对每个所述切分结果进行标识映射；以及

采用映射结果生成第二张量；其中，所述第二张量为整形张量；

其中，采用所述映射结果生成所述第二张量，包括：

根据所述第一张量的每一行字符串的映射结果得到所述第二张量的对应行数值；其中，所述第一张量包括N行字符串，所述第二张量包括与所述N行字符串分别对应的N行数值，N为正整数；

其中，采用所述文本处理加速算子对文本处理后的内容进行并行加速，包括：

采用多线程对所述第二张量进行并行处理。

2.根据权利要求1所述的方法，其中，对所述第一张量进行切分，得到多个切分结果，包括以下至少之一：

对所述第一张量进行分字处理，得到多个分字；

对所述第一张量进行分词处理，得到多个分词。

3.根据权利要求2所述的方法，其中，对每个所述切分结果进行标识映射，包括：

根据映射关系将每个分字和/或分词映射为数值。

4.根据权利要求1所述的方法，其中，所述文本处理由第一语言运行转换为由第二语言运行；其中，所述第一语言为解释型语言，所述第二语言为编译型语言。

5.根据权利要求1所述的方法，还包括：

采用自然语言理解模型对所述文本处理加速算子加速后的内容进行自然语言理解处理。

6.根据权利要求5所述的方法，其中，所述自然语言理解模型包括所述文本处理加速算子和转换编码器算子。

7.根据权利要求6所述的方法，其中，所述转换编码器算子包括融合的注意力机制算子和融合的前向反馈算子。

8.根据权利要求1所述的方法，还包括：

采用自然语言生成模型对自然语言理解模型处理后的内容进行自然语言生成处理。

9.根据权利要求8所述的方法，所述自然语言生成模型包括转换解码器算子和解码策略算子。

10.根据权利要求9所述的方法，其中，采用自然语言生成模型对所述自然语言理解模型处理后的内容进行自然语言生成处理，包括：

采用所述转换解码器算子识别解码器代码特征，以识别所采用的生成网络类型；调用所述生成网络类型对应的预置解码算子。

11.根据权利要求10所述的方法，其中，所述生成网络类型包括以下至少之一：

解码器Decoder类型；

前缀语言建模Prefix LM类型；

编码器解码器Encoder-Decoder类型。

12.根据权利要求9所述的方法，其中，采用自然语言生成模型对所述自然语言理解模型处理后的内容进行自然语言生成处理，还包括：

采用所述解码策略算子识别解码策略特征，以识别所采用的解码算法；采用所述解码算法将运行在第一语言上的循环代码自动翻译为第二语言的代码。

13.根据权利要求12所述的方法，其中，所述解码算法包括以下至少之一：

基于搜索的解码算法；

基于采样的解码算法。