[发明专利]一种基于空间向量模型的实体相似度计算方法

说明书

一种基于空间向量模型的实体相似度计算方法，包括以下具体步骤；输入需要对比的文本，并对文本分别记为D1、D2……Dn；n为正整数；对需要对比的文本进行分析，提取文本中出现的字、词、词组或短语并分别设置成不同的项；并对项分别编号X1、X2……Xn；n为正整数；设置禁用词表；用于去除文本中存在的一些没有实在意义但使用频率很高的虚词和功能词；去除文本中出现的无用的项；对项进行分析；并根据字、词或短语作为选择特征项单位；根据选择的特征项单位选择合适的特征项；对文本进行分割并使用特征项来进行表示；根据特征项建立空间向量；利用向量夹角的余弦值计算不同特征项之间的相似度。

技术领域

本发明涉及文本的智能信息处理技术领域，尤其涉及一种基于空间向量模型的实体相似度计算方法。

背景技术

在文本的智能信息处理领域内，需要对不同的数据文本进行比对，现有技术中对比对文件进行加权计算时，赋权容易造成误差，影响最终的比对结果。

为解决上述问题，本申请中提出一种基于空间向量模型的实体相似度计算方法。

发明内容

(一)发明目的

为解决背景技术中存在的文本的智能信息处理领域内，需要对不同的文本进行比对，现有技术中对比对文件进行加权计算时，赋权容易造成误差，影响最终的比对结果的技术问题，本发明提出一种基于空间向量模型的实体相似度计算方法，本发明降低了虚词和功能词对赋权带来的影响，同时使用TF-IDF法计算权重提高了赋权的准确性，从而提高了相似度计算的结果。

(二)技术方案

为解决上述问题，本发明提供了一种基于空间向量模型的实体相似度计算方法，包括以下具体步骤；

S1、输入需要对比的文本，并对文本分别记为D1、D2……Dn；n为正整数；

S2、对需要对比的文本进行分析，提取文本中出现的字、词、词组或短语并分别设置成不同的项；并对项分别编号X1、X2……Xn；n为正整数；

S3、设置禁用词表；用于去除文本中存在的一些没有实在意义但使用频率很高的虚词和功能词；

S4、去除文本中出现的无用的项；

S5、对项进行分析；并根据字、词或短语作为选择特征项单位；

S6、根据选择的特征项单位选择合适的特征项；

S7、对文本进行分割并使用特征项来进行表示；

S8、根据特征项建立空间向量；

S9、利用向量夹角的余弦值计算不同特征项之间的相似度。

优选的，步骤S7包括词语粗切分，词语粗切分通过采取最大匹配法、最短路径法、概率统计法或全切分法获得粗切分结果。

优选的，对粗切分的结果进行切分排歧与未登录词识别。

优选的，去除有歧义的词组以及未登录词，对剩余切分结果中出现的词语进行词性标注。

优选的，根据词性的不同对同一个词的不同词性分别赋予不同的权重。

优选的，权重根据TF-IDF法进行计算。

优选的，步骤8中建立的空间向量为N维，N为词性标注的数量，该词性标注的权重则为向量的坐标值。