[发明专利]一种基于网页文本的新词查找系统及方法

权利要求书

1.一种基于网页文本的新词查找系统，其特征在于，主要包括网页文本选取模块、网页文本预处理模块、新词发现模块和新词生成模块；其中：

网页文本选取模块，用于根据设置的定时新词发现的时间，定期从网页文本集合中获取定时间隔的这一段时间内的网页文本，并按照时间对选取的网页文本集合进行划分；

网页文本预处理模块，用于解析出网页文本的时间信息并保存，定义小说、影视类专名识别规则，识别出文本中的专名信息，并对网页文本进行分词处理。

2.保存每个n-gram串、相应的频次、专名信息及网页时间；

新词发现模块，用于根据网页文本的分词结果和专名信息，通过单页面串频统计和多页面串频统计两个阶段来统计起始时间一致的相同n-gram串的频次；并利用前次和本次定时间隔内相同词串的平均每个页面的词频，计算前后两个定时间隔内该词串出现频次的变化率，选取变化率大的词串作为候选新词；并根据n-gram串中单个词的频次和n-gram串的频次计算候选新词的共现率，筛选掉共现率较低的词串；归并候选新词集合中相近频次的父子串；

新词生成模块，对候选新词集合进行过滤和剪枝，去除候选新词集合中的垃圾串，得到最终的新词集合。

3.根据权利要求1所述的基于网页文本的新词查找系统，其特征在于，所述新词查找系统的新词生成模块，将最终新词集合导入分词词库中，实现增量式新词发现。

4.一种基于网页文本的新词查找方法，其特征在于，该方法包括：

A、选取网页文本的步骤；按照时间对网页库进行划分，根据指定的时间段，选择前后连个时间段的网页文本； 

B、网页文本预处理的步骤；按设定时间段分类提取每个网页文本的信息，同一时间段的网页文本的时间均置为该时间段的起始时间；解析网页文本，根据专名在文本中的常见特征信息，定义小说、影视类专名识别规则，识别出文本中的专名信息；再使用分词工具对网页文本进行切分；

C、新词发现的实现步骤，包括进行串频统计、计算词串变化率、计算词串共现率以及进行父子串归并；

D、实现新词过滤和剪枝策略的步骤，对生成的候选新词集合进行过滤，以去除垃圾串。

5.根据权利要求3所述的基于网页文本的新词查找方法，其特征在于，步骤B所述使用分词工具对网页文本进行切分，根据数据串进行分词处理后成词的词数，将词串分类为2-gram、3-gram、…、n-gram；词串中的每个词称为token，则n-gram的格式为：[token-1][空格][token-2]…[token-n]；并为专名信息对应的n-gram串设置标志位。

6.根据权利要求3所述的基于网页文本的新词查找方法，其特征在于，步骤B所述使用分词工具对网页文本进行切分，采用分词的最大粒度结果，以保证词串中任意词的组合都不是已经存在的词。