[发明专利]一种商品名称分类的模型构建方法及装置

权利要求书

1.一种商品名称分类的模型构建方法，其特征在于，具有如下步骤：

S1、开源Wikipedia和Books Corpus语料收集，税务商品名称语料收集；

S2、对开源Wikipedia和Books Corpus语料进行数据集操作；

S3、引入BERT网络进行并进行模块化编程；

S4、组合各编程模块，构建完整End-to-End的流水线；

S5、使用预处理后的开源数据，对调整后的网络进行预训练；

S6、对网络进行微调，得到最终的税务领域商品名称分类迁移学习的模型。

2.根据权利要求1所述的一种商品名称分类的模型构建方法，其特征在于，在步骤S2中，依据预训练的单句预测、句子对预测、SQuAD、Cloze、结构化预测序列标注CWS共5类任务，对开源Wikipedia和Books Corpus语料进行分词、词嵌入和打标制定数据集操作；

依据Fine-tun商品名称分类Specific-task，对税务商品名称数据进行信息抽取、分词、词嵌入操作。

3.根据权利要求2所述的一种商品名称分类的模型构建方法，其特征在于，在步骤S3中，引入BERT作为主干网络，针对网络设计3大类优化模块，包括N-Gram结构显示和隐式的粗细粒度知识引入、Retrospective Feed Mechanism和Enhanced Recurrence Mechanism算法的构建、Multi-headed和Scaledot-product Self-attention的超参数改进，并进行模块化编程实现。

4.根据权利要求3所述的一种商品名称分类的模型构建方法，其特征在于，引入word粒度和word pair粒度知识，通过显式的n-gram掩蔽方法，对BERT的MLM中被忽略的粗粒度语义知识进行增强，构成要素包括连续MLM、显示n元语法掩码语言建模、综合的n元语法预测、增强的n元语法关系建模和n元语法提取。

5.根据权利要求4所述的一种商品名称分类的模型构建方法，其特征在于，所述Multi-headed attention中,BERT中引入8头注意力机制，多头表征进行concatenate操作，后进行matrix product，IS-gram使用horovod并行技术，使用12头注意力，同时dot-product后进行batch normalization处理，增强模型的鲁棒性。

6.根据权利要求5所述的一种商品名称分类的模型构建方法，其特征在于，所述Scaleddot-product attention中，IS-gram模型self-attention中，对点积值softmax之前，进行处罚时，不再指定除去QKV向量维度的开方，设定为可学习的变量。

7.根据权利要求6所述的一种商品名称分类的模型构建方法，其特征在于，在步骤S5中，使用预处理后的开源数据，对调整后的网络进行预训练，直到网络收敛生成Pre-train的网络结构、权重、属性和优化器状态的序列化文件。

8.根据权利要求7所述的一种商品名称分类的模型构建方法，其特征在于，在步骤S6中，分别采取屏蔽文本表征模块和无模块屏蔽两种策略，使用预处理后的税务商品名称数据，对步骤S5生成的网络进行迁移学习微调，并生成Fine-tune的网络权重和优化器状态的序列化文件，得到最终的税务领域商品名称分类迁移学习的模型。

9.一种商品名称分类的模型构建装置，其特征在于，包括：至少一个存储器和至少一个处理器；

所述至少一个存储器，用于存储机器可读程序；

所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至8中任一所述的方法。