[发明专利]一种基于机器学习的软件实体识别方法

权利要求书

1.一种基于机器学习的软件实体识别方法，其特征在于：包括以下步骤：

S1.获取训练数据，对训练数据中的软件实体进行特征提取，将训练数据及其对应的特征保存到数据集中，并将该数据集划分为训练集和验证集；

S2.根据条件随机场建立机器学习模型；

S3.利用训练集对建立的机器学习模型进行训练，并利用验证集对训练得到的模型进行误差测试，作为模型性能的评价指标。

2.根据权利要求1所述的一种基于机器学习的软件实体识别方法，其特征在于：在机器学习模型训练和测试完成之后，利用训练得到的模型待处理的科学文献进行软件实体识别。

3.根据权利要求1所述的一种基于机器学习的软件实体识别方法，其特征在于：所述步骤S1包括以下子步骤：

S101.对多篇文献中的软件实体进行标记，并对文献进行清洗，将非法字符去除，调整段落以达到机器读取学习的要求，经过人工校对之后录入语料库中；

S102.对软件实体进行特征提取：

计算软件实体的长度，作为软件实体的内部特征：

其中，L表示当i≤k时软件实体平均加权后的长度，N_i表示所选取的语料中长度为i的软件实体出现的次数，k表示语料库中最长的软件实体长度，j表示语料库中最短的软件实体长度，N表示语料库中软件实体的总个数；

统计软件实体的词频，作为软件实体的分布情况参数；

统计软件实体的左右边界词，作为软件实体的外部特征；

S103.对语料库中的语料进行分词得到不同的词语和词性；

S104.结合语料的基本情况，构建5词位的标注集R＝{B,M,E,BE,S}，并根据标注集给得到的每一个词语加上标签，其中，B表示软件实体的初始词，M为软件实体的中间词，E为软件实体的结束词，BE表示一个词或字单独为软件实体的情况，S表示非软件实体词；

S105.将加上标签的词语加入训练数据集中，并将训练数据集划分为训练集和验证集。

4.根据权利要求3所述的一种基于机器学习的软件实体识别方法，其特征在于：所述步骤S102中，软件实体的左边界绝对不会跨越其第一个标记，即软件实体的起始标记，故统计范围限定在从句子开始到第一个标记的范围内，记作β；同样的，软件实体的右边界特征词绝对不会跨越软件实体的最后一个标记，所以统计范围限定在从最后一个标记开始到句子结束这样一个范围内，记作α；

软件实体左边界词的统计公式如下：

其中f(W_left_outsaid)表示词语W在β范围内出现的频次，f(W_left)表示词语W在β和软件实体内部出现的频次；

软件实体右边界词的统计公式如下：

其中f(W_right_outside)表示词语W在α范围内出现的频次，f(W_right)表示词语W在α和软件实体内部出现的频次。

5.根据权利要求1所述的一种基于机器学习的软件实体识别方法，其特征在于：所述步骤S2中，利用条件随机场建立的模型，在给定一组需要标记的观察序列的条件下，计算整个观察序列状态标记的联合条件概率分布的无向图；对于指定的节点输入值，它计算指定节点输出值的条件概率，其训练目标是使得条件概率最大化；

设x＝{x1,x2,…,xn-1,xn}表示被观察到的输入数据序列，y＝{y1,y2,…,yn-1,yn}表示有限状态集合，其中每个状态对应于一个标记，在给定输入序列x的条件下，对于参数

λ＝{λ1,λ2,…λn-1,λn}的条件随机场，状态序列y的条件概率为：

其中Z_x为归一化因子，表示所有可能的状态序列的得分，确保所有可能状态序列的条件概率之和为1；f_j(y_i-1，y_i，x，i)是一个统一形式的特征函数，通常为二值表征函数；λj是通过模型对训练数据进行训练之和获得的相应特征函数的权重。