[发明专利]一种基于空间向量模型的实体相似度计算方法

权利要求书

1.一种基于空间向量模型的实体相似度计算方法，其特征在于，包括以下具体步骤；

S1、输入需要对比的文本，并对文本分别记为D1、D2……Dn；n为正整数；

S2、对需要对比的文本进行分析，提取文本中出现的字、词、词组或短语并分别设置成不同的项；并对项分别编号X1、X2……Xn；n为正整数；

S3、设置禁用词表；用于去除文本中存在的一些没有实在意义但使用频率很高的虚词和功能词；

S4、去除文本中出现的无用的项；

S5、对项进行分析；并根据字、词或短语作为选择特征项单位；

S6、根据选择的特征项单位选择合适的特征项；

S7、对文本进行分割并使用特征项来进行表示；

S8、根据特征项建立空间向量；

S9、利用向量夹角的余弦值计算不同特征项之间的相似度。

2.根据权利要求1所述的基于空间向量模型的实体相似度计算方法，其特征在于，步骤S7包括词语粗切分，词语粗切分通过采取最大匹配法、最短路径法、概率统计法或全切分法获得粗切分结果。

3.根据权利要求2所述的基于空间向量模型的实体相似度计算方法，其特征在于，对粗切分的结果进行切分排歧与未登录词识别。

4.根据权利要求3所述的基于空间向量模型的实体相似度计算方法，其特征在于，去除有歧义的词组以及未登录词，对剩余切分结果中出现的词语进行词性标注。

5.根据权利要求4所述的基于空间向量模型的实体相似度计算方法，其特征在于，根据词性的不同对同一个词的不同词性分别赋予不同的权重。

6.根据权利要求5所述的基于空间向量模型的实体相似度计算方法，其特征在于，权重根据TF-IDF法进行计算。

7.根据权利要求1所述的基于空间向量模型的实体相似度计算方法，其特征在于，步骤8中建立的空间向量为N维，N为词性标注的数量，该词性标注的权重则为向量的坐标值。