[发明专利]基于BERT的文本数据处理方法及装置

权利要求书

1.一种基于BERT的文本数据处理方法，其特征在于，包括：

获取待处理文本数据；

将所述待处理文本数据的原始词向量，输入到预先训练好的BERT语言模型中，输出所述待处理文本数据中各个字或词融合上下文信息的向量表示结果；

将所述BERT语言模型输出的向量表示结果，与所述待处理文本数据中除上下文信息之外的其他结构化特征进行特征融合，得到融合后的特征向量；

将融合后的特征向量，输入到预先训练好的机器分类模型中，输出所述待处理文本数据的分类结果。

2.如权利要求1所述的方法，其特征在于，所述机器分类模型为二分类模型。

3.如权利要求2所述的方法，其特征在于，所述待处理文本数据为审核业务系统中的告警报文数据；所述二分类模型的分类结果包括：有效告警和无效告警。

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

获取第一样本数据；

根据所述第一样本数据，对BERT模型学习，训练得到所述BERT语言模型。

5.如权利要求1所述的方法，其特征在于，所述方法还包括：

获取第二样本数据；

根据所述第二样本数据，对神经网络模型学习，训练得到所述机器分类模型。

6.如权利要求1所述的方法，其特征在于，采用多模态特征融合方法，将所述BERT语言模型输出的向量表示结果，与所述待处理文本数据中除上下文信息之外的其他结构化特征进行特征融合，得到融合后的特征向量。

7.如权利要求6所述的方法，其特征在于，所述多模态特征融合方法包括如下任意之一：基于原始数据的融合、基于抽象特征的融合和基于决策结果的融合。

8.如权利要求6所述的方法，其特征在于，所述多模态特征融合方法包括如下任意之一：数据级别的融合、判定级别的融合和组合融合。

9.一种基于BERT的文本数据处理装置，其特征在于，包括：

文本数据获取模块，用于获取待处理文本数据；

BERT语言模型预测模块，用于将所述待处理文本数据的原始词向量，输入到预先训练好的BERT语言模型中，输出所述待处理文本数据中各个字或词融合上下文信息的向量表示结果；

特征融合模块，用于将所述BERT语言模型输出的向量表示结果，与所述待处理文本数据中除上下文信息之外的其他结构化特征进行特征融合，得到融合后的特征向量；

机器分类模块，用于将融合后的特征向量，输入到预先训练好的机器分类模型中，输出所述待处理文本数据的分类结果。

10.如权利要求9所述的装置，其特征在于，所述机器分类模型为二分类模型。

11.如权利要求10所述的装置，其特征在于，所述待处理文本数据为审核业务系统中的告警报文数据；所述二分类模型的分类结果包括：有效告警和无效告警。

12.如权利要求9所述的装置，其特征在于，所述装置还包括：

第一样本获取模块，用于获取第一样本数据；

BERT语言模型训练模块，用于根据所述第一样本数据，对BERT模型学习，训练得到所述BERT语言模型。

13.如权利要求9所述的装置，其特征在于，所述装置还包括：

第二样本数据获取模块，用于获取第二样本数据；

机器分类模型学习模块，用于根据所述第二样本数据，对神经网络模型学习，训练得到所述机器分类模型。

14.如权利要求9所述的装置，其特征在于，采用多模态特征融合装置，将所述BERT语言模型输出的向量表示结果，与所述待处理文本数据中除上下文信息之外的其他结构化特征进行特征融合，得到融合后的特征向量。