[发明专利]一种基于机器学习的软件实体识别方法

说明书

本发明公开了一种基于机器学习的软件实体识别方法，包括以下步骤：S1.获取训练数据，对训练数据中的软件实体进行特征提取，将训练数据及其对应的特征保存到数据集中，并将该数据集划分为训练集和验证集；S2.根据条件随机场建立机器学习模型；S3.利用训练集对建立的机器学习模型进行训练，并利用验证集对训练得到的模型进行误差测试，作为模型性能的评价指标。本发明能够通过机器学习的方法对软件实体进行识别，以快速获取科学文献中的软件实体，为科研工作的进行带来了很大便利。

技术领域

本发明涉及软件实体的识别，特别是涉及一种基于机器学习的软件实体识别方法。

背景技术

软件对科学研究至关重要，它被用于许多实践，如控制流程，数据分析和知识传播。科学家认为，软件在研究中起着至关重要的作用；

在科技飞速发展的今天，许多科学实验必须要借助软件进行模拟、控制、统计等才能完成，但人们并对软件对科学的影响的了解还不够多。软件数量众多，没有完整的软件库，而且科学文献中没有对软件使用进行具体的说明，这对于科研人员分析不同软件的使用对科学的影响，以及不同学科之间的软件使用差异造成了非常大的困扰，对科研工作的快速进行带来了不利影响。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于机器学习的软件实体识别方法，能够通过机器学习的方法对软件实体进行识别，以快速获取科学文献中的软件实体，为科研工作的进行带来了很大便利。

本发明的目的是通过以下技术方案来实现的：一种基于机器学习的软件实体识别方法，其特征在于：包括以下步骤：

S1.获取训练数据，对训练数据中的软件实体进行特征提取，将训练数据及其对应的特征保存到数据集中，并将该数据集划分为训练集和验证集；

S2.根据条件随机场建立机器学习模型；

S3.利用训练集对建立的机器学习模型进行训练，并利用验证集对训练得到的模型进行误差测试，作为模型性能的评价指标。

进一步地，在机器学习模型训练和测试完成之后，利用训练得到的模型待处理的科学文献进行软件实体识别。

进一步地，所述步骤S1包括以下子步骤：

S101.对多篇文献中的软件实体进行标记，并对文献进行清洗，将非法字符去除，调整段落以达到机器读取学习的要求，经过人工校对之后录入语料库中；

S102.对软件实体进行特征提取：

计算软件实体的长度，作为软件实体的内部特征：

其中，L表示当i≤k时软件实体平均加权后的长度，N_i表示所选取的语料中长度为i的软件实体出现的次数，k表示语料库中最长的软件实体长度，j表示语料库中最短的软件实体长度，N表示语料库中软件实体的总个数；

统计软件实体的词频，作为软件实体的分布情况参数；

统计软件实体的左右边界词，作为软件实体的外部特征；

S103.对语料库中的语料进行分词得到不同的词语和词性；

S104.结合语料的基本情况，构建5词位的标注集R＝{B,M,E,BE,S}，并根据标注集给得到的每一个词语加上标签，其中，B表示软件实体的初始词，M为软件实体的中间词，E为软件实体的结束词，BE表示一个词或字单独为软件实体的情况，S表示非软件实体词；

S105.将加上标签的词语加入训练数据集中，并将训练数据集划分为训练集和验证集。