[发明专利]一种基于Bert的面向非结构化电力数据的知识抽取方法及系统

权利要求书

1.一种基于Bert的面向非结构化电力数据的知识抽取方法，其特征在于，包括以下步骤：

(1)首先联合模板匹配和基于Bert的预训练语言模型进行实体抽取；

(2)然后再利用实体抽取的结果使用基于Bert的预训练语言模型进行关系和属性抽取，最终实现对非结构化电力数据的知识抽取。

2.根据权利要求1所述的基于Bert的面向非结构化电力数据的知识抽取方法，其特征在于，所述步骤(1)包括：

(1.1)对于非结构化电力数据中的实体触发词明显、句式和位置相对固定的知识内容，使用正则匹配的方法来抽取知识实体；

(1.2)对于非结构化电力数据中存在实体界限模糊和实体嵌套问题，且实体成分复杂、位置不固定的知识内容，通过基于Bert的知识抽取方法来抽取知识实体。

3.根据权利要求2所述的基于Bert的面向非结构化电力数据的知识抽取方法，其特征在于，所述步骤(1.1)包括：

(1.1.1)建立正则表达式：从非结构化电力数据的知识角度出发，设定能够反映电力数据的实体以及实体之间的关系的正则表达式；

(1.1.2)以实体触发词为核心，锁定从非结构化电力数据中挑选的文本中触发词所在句；

(1.1.3)通过正则表达式对锁定的全部示例句进行模板匹配，最终完成知识的抽取。

4.根据权利要求3所述的基于Bert的面向非结构化电力数据的知识抽取方法，其特征在于，在所述步骤(1.1.3)中，若通过正则表达式没有成功对锁定的全部示例句进行模板匹配，则更新抽取实体所用的正则表达式。

5.根据权利要求2所述的基于Bert的面向非结构化电力数据的知识抽取方法，其特征在于，所述步骤(1.2)包括：

(1.2.1)输入向量化：输入文本经过BERT的预训练语言模型后，每一个输入都会得到相应的上下文表征；

(1.2.2)生成词向量：通过Bert的预训练语言模型获得输入句子中每个实体s_i的上下文表示h_e(s_i)：

h_e(s_i)＝[X_START(i)；X_END(i)；Φ(s_i)]

其中，X_START(i)为实体开始位置信息，X_END(i)为结束位置信息，Φ(s_i)为跨度特征向量表示；

(1.2.3)预测实体类型：使用两层带ReLU激活函数的前向神经网络，将词组表征投影到分类空间：

P_e(e|s_i)＝softmax[FFNN(h_e(s_i))]；

其中，FFNN为带有ReLU激活函数的两层前馈神经网络；

(1.2.4)训练模型：利用如下损失函数训练基于Bert的实体抽取模型：

其中，S表示所有实体，e_i为实体类型。