[发明专利]一种自动化数据功能项抽取的方法

权利要求书

1.一种自动化数据功能项抽取的方法，其特征在于，包括以下步骤：

将需求文本根据标点符号划分为句子，抽取句子中每个单词的上下文特征；

给句子中的每一个单词打上标签，并作为标注数据；

使用标注数据训练初始的条件随机场模型CRF，迭代地使用该CRF模型预测未标注的数据，从中选取置信度高于置信度阈值的样本来扩充训练集合，该置信度为CRF模型预测标签序列的概率；

使用扩后后的训练集合重新训练CRF模型，最终得到候选功能项集合；

使用历史功能项训练面向功能项的语言模型；

使用训练好的面向功能项的语言模型对候选功能项集合进行过滤，抽取符合的功能项。

2.根据权利要求1所述的方法，其特征在于，抽取句子中每个单词的上下文特征的方法为：对句子中的每个单词构造一个特征窗口，该特征窗口包括当前词、当前词的前n个单词以及当前词的后n个单词；对于特征窗口中的每个单词，抽取上下文特征；如果单词出现在句子的末尾，其特征窗口内的单词为空，则为其赋于默认值。

3.根据权利要求1或2所述的方法，其特征在于，上下文特征包括字符串特征、词性特征和tf-idf特征。

4.根据权利要求1所述的方法，其特征在于，标签遵循如下BIOES标准：

B标签：单词为功能项的起始单词；

I标签：单词为功能项的单词，且不是起始或者结尾单词；

E标签：单词为功能项的结尾单词；

S标签：单词为完整的功能项；

O标签：单词不是功能项中的单词。

5.根据权利要求1所述的方法，其特征在于，训练CRF模型时，使用基于自举的bootstrapping方法在未标注的需求文本上扩充训练集合。

6.根据权利要求1所述的方法，其特征在于，在迭代地使用CRF模型预测未标注的数据时，降低置信度阈值T(u)＝T(u)–δ，直至达到置信度阈值下限T(l)。

7.根据权利要求6所述的方法，其特征在于，T(u)包括0.8，T(l)包括0.6，δ包括0.01。

8.根据权利要求1所述的方法，其特征在于，使用历史功能项训练面向功能项的语言模型之前，先获取所有历史功能项，对每一个历史功能项进行分词，作为一条训练样本。

9.根据权利要求1或8所述的方法，其特征在于，使用历史功能项训练n-gram语言模型，得到面向功能项的语言模型。

10.根据权利要求1或8所述的方法，其特征在于，使用训练好的面向功能项的语言模型对候选功能项集合进行过滤的方法为：计算每个候选功能项的困惑度，将困惑度不小于困惑度阈值的功能项过滤掉。