[发明专利]一种基于BPNN-BERT的电网多业务成本需求文本分类方法

权利要求书

1.一种基于BPNN-BERT的电网多业务成本需求文本分类方法，其特征在于，包括以下步骤：

S1：将业务成本需求文本表示为向量形式；

S2：将步骤S1中的向量形式的业务成本需求文本生成初始向量矩阵输入到BERT模型中，获得业务成本需求文本的全局语义向量；

S3：提取业务成本需求文本用于对神经网络分类模型进行训练后识别业务成本的类别。

2.根据权利要求1所述的一种基于BPNN-BERT的电网多业务成本需求文本分类方法，其特征在于，所述步骤S1中将业务成本需求文本表示为向量形式包括如下步骤：

S101：获取业务成本需求文本中所有的词向量构成词向量矩阵；

S102：获取业务成本需求文本中的每个字符对应的句向量和位置向量，构成所有文本的句向量矩阵和位置向量矩阵；

S103：将所有文本字符的词向量矩阵、句向量矩阵和位置向量矩阵相加后得到业务成本需求文本的初始向量矩阵X₀。

3.根据权利要求2所述的一种基于BPNN-BERT的电网多业务成本需求文本分类方法，其特征在于，步骤S101中，将业务成本需求文本中的单个字符作为一个token，然后进行token-id转换。

4.根据权利要求2或3所述的一种基于BPNN-BERT的电网多业务成本需求文本分类方法，其特征在于，步骤S103中，设置文本最大长度为L_max，对不同长度的业务成本需求文本进行字数补齐，补齐的字符单元不参与后续具体计算。

5.根据权利要求1所述的一种基于BPNN-BERT的电网多业务成本需求文本分类方法，其特征在于，步骤S2包括：

S201：利用BERT模型编码层的多头自注意力模块将单头自注意力的编码结果进行向量拼接；

S202：建立多头注意力机制，所述多头注意力机制由n个单头注意力机制构成；

S203：计算多头注意力机制的输出；

S204：建立多层编码机制，所述多层编码机制中的每一层编码包括一个多头注意力机制和一个前馈神经网络；所述多头注意力机制的输出为所述前馈神经网络的输入，前馈神经网络的输出为该层编码的输出；

S205：提取步骤S204中多层编码机制中最后一层编码的输出结果中的段首向量作为业务成本需求文本的全局语义向量y^[cls]。

6.根据权利要求5所述的一种基于BPNN-BERT的电网多业务成本需求文本分类方法，其特征在于，将业务成本需求文本划分为训练集和测试集，提取所述训练集中所有业务成本需求文本的全局语义向量y^[cls]，构成全局语义向量矩阵Y^[cls]，构建并训练神经网络分类模型。