[发明专利]中文单字串模式和词缀模式的新词自动识别技术及系统

权利要求书

1. 一种中文单字串模式和词缀模式的新词自动识别技术及系统，通过分析短文本中出现新词的规律，基于大规模短文本语料库，自动识别短文本中的新词，其包括如下步骤：

a. 对大规模短文本进行中文分词，并将每一条短文本的分词碎片相适应地存储；

b. 对于每一条短文本的分词碎片进行分析，查找碎片中的单字串潜在新词以及词缀模式潜在新词；

c. 对于单字串潜在新词，首先提取单字串潜在新词对应的最长潜在新词，统计每个最长潜在新词出现的频次，存入单字串潜在新词集；然后根据最长潜在新词及其频次，提取最长潜在新词的每个子串，统计每个子串的频次，存入单字串潜在新词集；

d. 对于词缀模式的潜在新词，提取每个词缀模式潜在新词，统计每个词缀模式的频次，存入词缀模式潜新词集中；

e. 对于所述的单字串潜在新词集和词缀模式潜在新词集中的对象分别进行过滤操作；

f. 对于每个潜在新词，若其频次大于第一阀值，则将该潜在新词作为所述中文新词。

2. 根据权利要求1所述的控制方法，其特征在于，所述步骤b中所述的单字串潜在新词，其由单个的汉字组成的，至少包括如下形式中的任一种或任多种：

- NW11形式，其为由单个汉字与单个汉字组成的新词，表现为1+1形式；

- NW111形式，其为由三个连续的单个汉字组成的新词，表现为1+1+1形式；或者

- NW1111形式，其为由四个连续的单字组成的新词，表现为1+1+1+1形式。

3. 根据权利要求1或2所述的控制方法，其特征在于，对于所述步骤b中的词缀模式的新词，其由单个汉字和前/后缀词语组成，至少包括如下形式中的任一种或任多种：

- NW12形式，其由一个单字紧跟着一个二元词语组成，表现为1+2形式；

- NW13形式，其由一个单字紧跟着一个三元词语组成，表现为1+3形式；

- NW21形式，其由一个二元词紧跟着一个单字组成，表现为2+1形式；或者

- NW31形式，其由一个三元词紧跟着一个单字组成，表现为3+1形式。

4. 根据权利要求1至3中任一项所述的控制方法，其特征在于，在所述步骤c中所述最长潜在新词包括NW(i，j)= {X_iX_i+1…X_j}，其中X为单个字，其中，i=0或者X_i-1是非单字汉字，并且j=n或X_j+l是非单字汉字，其中，NW(i，j)为集合T={X₁X₂…X_i…X_n}（1=<i<=n）的子集，T中任意的X_i都为中文单个汉字。

5. 根据权利要求1至4中任一项所述的控制方法，其特征在于，在所述步骤c中所述针对所述最长潜在新词提取所有子串的步骤包括如下步骤：采用滑动窗口收集和统计所述最长潜在对象中的所有子串。