[发明专利]一种电子公文实体抽取方法

权利要求书

1.一种电子公文实体抽取方法，其特征在于：包括如下步骤：

A.预处理：利用爬虫系统获取政府公文的文本数据，将文本数据存入数据库中，并对文本数据进行专家标注；

B.构造特征：根据专家标注对文本数据提取CRF特征，CRF特征包括特征词本身、词性、词长、左右信息熵、TF_IDF、公文领域词典位置、基于词典的前向最大匹配分词、基于词典的后向最大匹配分词、基于LTP的句法及基于LTP的语义特征；

C.训练实体抽取模型：根据提取得到的CRF特征，通过CRF++训练实体抽取模型；

D.获取语料：利用实体抽取模型，对文本数据进行语料扩充抽取，确保语料条数不小于5000；

E.获取词向量：将得到的语料通过Bert算法表示成词向量；

F.训练算法模型：以词向量作为训练数据，以dilated CNN-BiLSTM-CRF算法的网络层作为模型架构，训练得到政府公文实体抽取算法模型。

2.如权利要求1所述的电子公文实体抽取方法，其特征在于：所述dilated CNN-BiLSTM-CRF算法是指，由输入至输出依次为dilated CNN、BiLSTM、CRF模型的算法。

3.如权利要求1所述的电子公文实体抽取方法，其特征在于：所述步骤B包括如下步骤：

B1.标记词性：通过人工标注的方式对特征词的词性进行标注；

B2.计算词的长度：对每个特征词计算词长度其中w_i为W中的字；

B3.计算左右信息熵：计算左信息熵为计算右信息熵为

B4.计算TF_IDF：计算词频再计算逆向文档频率然后计算TF_IDF为TF_IDF＝TF·IDF，其中count(w，d)为单词w在文档d中的出现次数，size(d)为文档d中总的单词个数，n为文档总数，docs(w，D)为单词w所出现的文件数；

B5.匹配分词：通过公文领域专家建立领域词典，从左向右取待切分汉语句的maxlen个字符作为匹配字段与字典匹配，如果匹配保存结果，不匹配减少一个字继续重复此步骤，直到所取字符串为空；

B6.计算基于LTP的句法特征：通过LTP标出语句子的语法成分；

B7.计算基于LTP的语义特征：通过LTP标出句子的谓词，并标注出论元的角色。

4.如权利要求3所述的电子公文实体抽取方法，其特征在于：所述步骤B1中，标注规范采用哈工大LTP词性规范。

5.如权利要求3所述的电子公文实体抽取方法，其特征在于：所述maxlen取值为8。

6.如权利要求1所述的电子公文实体抽取方法，其特征在于：所述步骤C中通过CRF++训练实体抽取模型包含如下步骤：

C1.确定特征模板：CRF特征模板中包括一元特征Unigram及二元特征Bigram，在给定的观察序列X时，某个待定标记序列Y的概率为exp(∑_j(λ_it_j(y_i-1，y_i，x，i))+∑_k(μ_ks_k(y_i，x，i)))，其中t_j(y_i-1，y_i，x，i)为转移函数，s_k(y_i，x，i)为状态函数，λ_i为t_j的权重，μ_k为s_k的权重；

C2.模型训练及预测：以CRF特征模板和标注好的训练数据作为输入，以实体抽取模型为输出，调用CRF++工具进行训练。

7.如权利要求1所述的电子公文实体抽取方法，其特征在于：所述步骤F中，训练轮数为400～750。

8.如权利要求6所述的电子公文实体抽取方法，其特征在于：所述CRF特征模板中，一元特征Unigram的特征窗口为5。