[发明专利]一种基于时间窗口和语义的变体词规范化的方法和系统

权利要求书

1.一种基于时间窗口和语义的变体词规范化的方法，其步骤为：

1)根据给定变体词的出现时间，选取社交网络中该出现时间之前的设定时间段内的语料，作为候选语料库集合D1；

2)将该候选语料库集合D1中和该变体词所在语料语义相似的语料加入到候选语料库集合D2；

3)从该候选语料库集合D2中提取出候选词，得到一候选词集合；

4)根据每一候选词和变体词的字面相似度以及上下文特征相似度计算每对候选词和变体词的得分，根据计算结果确定该变体词对应的候选词，将确定出的候选词作为该变体词的规范词。

2.如权利要求1所述的方法，其特征在于，从该候选语料库集合D2中提取出候选词的方法为：利用分词工具、词性标注方法、名词词组检测方法、命名实体标注方法和事件提取方法分别从该候选语料库集合D2中提取出候选词；然后将提取出的候选词取并集得到所述候选词集合。

3.如权利要求1所述的方法，其特征在于，基于LDA文本相似性计算方法或基于Doc2Vec的文本相似性计算方法计算所述语义相似的语料。

4.如权利要求1或2或3所述的方法，其特征在于，所述步骤4)中，采用无监督的机器学习方法，利用神经网络在大规模语料库中自主学习词语的上下文语义表示计算每对候选词和变体词的得分。

5.如权利要求4所述的方法，其特征在于，分别提取变体词和候选词的词向量输入无监督的机器学习方法进行训练，其中在训练词向量的时候，将一个词语拆分成两部分：词语本身和组成该词语的汉字。

6.如权利要求5所述的方法，其特征在于，采用CWE模型训练词向量，加入组成词语的字的信息构成该词语的语义表示。

7.如权利要求1或2或3所述的方法，其特征在于，所述步骤4)中，采用有监督的机器学习方法，计算每对候选词和变体词的得分。

8.如权利要求6所述的方法，其特征在于，分别提取变体词和候选词的表面特征、语义特征、社交特征，输入有监督的机器学习方法进行训练，得到每一候选词和变体词的得分。

9.一种基于时间窗口和语义的变体词规范化的系统，其特征在于，包括采集模块、过滤模块、获取模块和规范词获取模块；其中，

采集模块，用于从社交网络中采集语料信息；

过滤模块，用于根据给定变体词的出现时间，从采集的语料信息中选取该出现时间之前的设定时间段内的语料，作为候选语料库集合D1；以及从该候选语料库集合D1中选取与该变体词所在语料语义相似的语料，加入到候选语料库集合D2；

获取模块，用于从该候选语料库集合D2中提取出候选词，得到一候选词集合；

规范词获取模块，用于根据每一候选词和变体词的字面相似度以及上下文特征相似度计算每对候选词和变体词的得分，根据计算结果确定该变体词对应的候选词，将确定出的候选词作为该变体词的规范词。

10.如权利要求9所述的系统，其特征在于，所述规范词获取模块包括分词模块和相似度计算模块；其中，分词模块，用于对输入的语料进行分词处理，将之作为词向量训练的输入；相似度计算模块，用于根据变体词和候选目标词的词向量计算每对候选词和变体词的相似度得分。