[发明专利]航空文本数据标注方法及其标注系统

权利要求书

1.一种航空文本数据标注方法，其特征在于，其包括以下步骤：

步骤1：基于实体核心EODA的文本增强算法对原始航空文本数据的样本进行扩充，得到扩充之后的样本，将原始航空文本数据的样本和扩充之后的样本一起组成未标注数据；具体为：

使用实体识别模型对原始航空文本数据的样本中的非实体词和实体词进行区分，然后对非实体词和实体词分别进行增强；其中，实体识别模型为使用概率图模型作为命名实体识别模型，在基于实体数据集中的航空文本内容X的前提下，实体类别Y的条件概率分布表示为P(Y|X)；在无向图G＝(V,E)中，一个随机变量Y_v遵从马尔科夫性，则将条件概率分布P(Y|X)称之为条件随机场，如下所示：

P(Y_v|X,Y_w,w≠v)＝P(Y_v|X,Y_w,w～v)；

式中：P表示条件概率分布；X表示实体数据集中的航空文本内容；Y_v和Y_w分别表示顶点v和w对应的随机变量；w～v表示在无向图G中v和w顶点之间有边相连；w≠v表示w为v以外的所有顶点；

设定实体数据集中的航空文本内容X和实体类别Y二者具有相同图结构，通过线性链条件随机场实现实体识别任务，长度为n的观测序列(X₁,X₂,...,X_n)，其状态序列的条件概率如下所示：

式中：P(y|x)表示状态序列的条件概率；Z(x)表示规范化因子；λ_k表示转移特征函数t_k的权重系数；t_k(y_i-1,y_i,x,i)表示边E上的转移特征函数；μ_l表示状态特征函数s_l的权重系数；s_l(y_i,x,i)表示顶点V上的状态特征函数；y_i-1和y_i分别表示输入X_i-1和X_i对应的所有的标记序列；y表示输入X对应的所有的标记序列；所述转移特征函数t_k和状态特征函数s_l是与位置相关的局部特征函数；

实体识别模型的优化目标为最大化似然概率，使用对数似然概率，如下所示：

式中：p(y|X)表示最大化似然概率；score(X,y)表示输入X对应的分值；Y(x)表示输入X对应的随机变量；y^*表示输入X对应的特别标记序列；score(x,y)表示输入x对应的分值；

步骤2：基于主动学习模型的样本筛选，从未标注数据中筛选出目标样本；

基于主动学习模型，结合不确定性样本查询策略和版本空间缩减样本查询策略，建立基于字词级别的最低置信度的样本查询策略，基于字词级别的最低置信度的样本查询策略表达式如下所示：

式中：y1,y2,y_m-1和ym分别表示第1个、第2个、第m-1个和第m个标记序列；m表示标记序列的编号；score(t)表示t时刻对应的分值；P_t表示t时刻对应的分值向量；p₁,p₂和p_m分别表示第1个、第2个和第m个分值向量参数；

根据基于字词级别的最低置信度的样本查询策略从未标注数据中筛选出目标样本；

步骤3：建立基于信息抽取的航空文本标注模型，实现任意航空文本数据标注；

使用步骤1得到未标注数据，再使用步骤S2得到筛选样本，对筛选样本区分难度进行判断，将判断结果反馈给实体识别模型和主动学习模型，实现对实体识别模型和主动学习模型中基于字词级别的最低置信度的样本查询策略表达式参数的迭代更新，并返回步骤1继续循环执上述操作，直到迭代达到指定次数或目标值，建立基于信息抽取的航空文本标注模型，所述基于信息抽取的航空文本标注模型包括一定量的标注数据集、参数优化之后的实体识别模型和主动学习模型；

将新的航空文本数据输入到基于信息抽取的航空文本标注模型，从而对任意航空文本数据进行标注。