[发明专利]一种自动化数据功能项抽取的方法

说明书

本发明提出一种自动化数据功能项抽取的方法，将需求文本根据标点符号划分为句子，抽取句子中每个单词的上下文特征；给句子中的每一个单词打上标签，作为标注数据；使用标注数据训练初始的CRF模型，迭代地使用该CRF模型预测未标注的数据，从中选取置信度高于置信度阈值的样本来扩充训练集合；使用扩后后的训练集合重新训练CRF模型，最终得到候选功能项集合；使用历史功能项训练面向功能项的语言模型；使用训练好的面向功能项的语言模型对候选功能项集合进行过滤，抽取符合的功能项。本方法从需求描述中进行数据功能项的自动化抽取，提高抽取的精度，代替人力抽取功能项，并降低抽取的成本。

技术领域

本发明属于计算机领域，涉及软件规模度量，尤其是功能点分析技术，用于从需求文本中自动化抽取数据功能项，提高专家进行数据功能项抽取的效率，为一种自动化地数据功能项抽取的方法。

背景技术

功能点分析方法是一种从用户视角，度量软件规模和复杂度的技术。借助功能点分析方法，项目管理者可以更好地计划和管理软件的开发、维护等过程。“功能点”是功能点分析结果的基本单位。功能点分析后，软件会被度量为一定数量的“功能点”。功能点方法在软件度量中起着十分重要的作用，随着功能点分析技术的广泛引用，从1979年起，诸如IFPUG、 COSMIC、NESMA等功能点分析标准接连被提出，来支持功能点方法的应用。

在功能点分析方法中，最主要的工作是抽取“功能项”。功能项是需求中的名词或者动词短语，用来描述软件的功能。功能项主要被分为两类：数据功能项和交易类功能项。数据功能项通常为系统中的业务对象、数据块或控制信息，其通常表述为名词短语；交易功能项则为软件在数据功能项上的操作，通常表述为“动词+名词”短语的形式。

在实际的应用中，由于自动化方法的缺失，无论是数据功能项还是交易功能项都需要靠专家的手工抽取。随着项目的快速迭代和积累，手工抽取功能项变得越来越消耗人力。并且，由于不同专家对业务逻辑理解的不同，会为功能项抽取产生的结果带来误差。

由于需求文本和功能项都是通过自然语言进行描述，自动化信息抽取的方法为功能项的自动化抽取提供提供了一种可能。现在已有的信息抽取方法，主要可以分为两类：基于启发式规则的方法和基于机器学习的方法。两类方法都不能有效地应用在功能项的自动化抽取，主要原因如下。

1)基于启发式的规则通常是由专家给定一系列的语言模板。然后依靠这些先验启发式规则，来进行功能项的自动抽取。由于需求文本中还存在着功能性描述和非功能性描述的内容，而功能项仅仅和功能性描述相关。基于启发式规则的方法会抽取所有复合语言模板的短语，并不具备区分功能性和分功能性描述的能力，这会对功能项的抽取带来很多噪音，影响功能项抽取的准确率；

2)基于机器学习的方法是利用机器学习技术，可以从样本中学习功能项抽取的规则，过滤掉与功能无关的信息，具备功能性描述判别的能力。但是以往的基于机器学习的信息抽取方法，往往需要大量的标注数据来达到期望的模型性能。功能项的标注过程需要大量的人力成本。并且，功能项的抽取需要大量的领域专家知识，这更大加大了数据标注的成本。在少量标注样本下，达到令人满意的模型性能，是功能项抽取需要解决的一个问题。

发明内容

本发明的目的是提出一种自动化数据功能项抽取的方法，在少量标注样本上训练条件随机场模型，从需求描述中进行数据功能项的自动化抽取，提高抽取的精度，代替人力抽取功能项，并降低抽取的成本。

为达到上述目的，本发明采用的技术方案如下：

一种自动化数据功能项抽取的方法，包括以下步骤：

将需求文本根据标点符号划分为句子，抽取句子中每个单词的上下文特征；

给句子中的每一个单词打上标签，并作为标注数据；