[发明专利]一种中文语义库新词的生成方法

说明书

本发明公开了一种中文语义库新词的生成方法，所述方法通过设立文本块作为语料库，通过扫描文本块，把相邻出现的字组成集合，如果该集合不在字典中，统计该集合出现次数，如果出现次数超过阈值，则该相邻出现的字认定为新词，加入语义库。本发明方法能够精确比对中文文本的相似度，较快的识别新出现的词语，及时补充了词典，随着社会不断发展，文化的不断演进，中文词汇也随之不断扩充，通过使用本发明方法将识别的新词加入字典，将会节省大量的时间和人力。

技术领域

本发明涉及自然语言处理技术领域，具体涉及一种中文语义库新词的生成方法，能够精确比对中文文本的相似度。

背景技术

词典是基于词典分词法的基础，新词和歧义词是分词的重点、难点，需要引入统计学知识，识别新词。

语料库中存放的是在语言的实际使用中真实出现过的语言材料；语料库是以电子计算机为载体承载语言知识的基础资源；真实语料需要经过加工(分析和处理)，才能成为有用的资源。

中文是世界上使用文字最多的文字，其表意能力强，语法也比较随意、简单，同英文等拉丁语系的语言相比较，其基本构成元素汉字相对较多，中文的语义库也相对比较复杂。随着社会不断发展，文化的不断演进，中文词汇也随之不断扩充，如果使用人工处理加入字典，将会耗费大量的时间和人力。

发明内容

本发明要解决的技术问题是：本发明针对以上问题，提供一种中文语义库新词的生成方法，能够精确比对中文文本的相似度。

本发明所采用的技术方案为：

一种中文语义库新词的生成方法，所述方法通过设立文本块作为语料库，通过扫描文本块，把相邻出现的字组成集合，如果该集合不在字典中，统计该集合出现次数，如果出现次数超过阈值，则该相邻出现的字认定为新词，加入语义库。

更进一步，所述文本块的构成包括：单字集合、双字集合及由单字集合与双字集合组合构成的集合。

更进一步，所述文本块中相邻出现字的统计，根据每个字在文本中的偏移量进行统计，通过建立每个字出现的偏移量向量，然后对每一个偏移量向量进行统计，统计出相邻字结合出现的次数。

更进一步，所述单字集合通过网络爬虫工具，从用户日志和数据库文件中获取。

更进一步，所述单子集合包括n个不同的中文字符，集合为W{W1,W2,W3,…,Wn}，所述双字集合为Y{Y1,Y2,Y3,…,Ym}，其中Ym={wi-wj,wj-wi}，其中i、j介于1和n之间，符号‘-’表示为一种联系关系，比如，‘美’和‘人’，有两种组合，分别是‘美人’和‘人美’。

更进一步，所述单字集合与双字集合组合构成的集合为N，N={Wi-Yj,Yj-Wi}，其中i、j介于1和n之间，符号‘-’表示为一种联系关系，比如：爱-美人和美人-爱。

更进一步，所述方法通过对认定的新词进行筛选，筛选出其中不是词语的组合，确保加入语义库的新词的有效性。

本发明的有益效果为：

本发明方法能够精确比对中文文本的相似度，较快的识别新出现的词语，及时补充了词典，随着社会不断发展，文化的不断演进，中文词汇也随之不断扩充，通过使用本发明方法将识别的新词加入字典，将会节省大量的时间和人力。

附图说明

图1为本发明方法实现流程图。

具体实施方式

下面根据说明书附图，结合具体实施方式对本发明进一步说明：

实施例1