[发明专利]用户生成内容标签数据生成方法、装置及相关方法和装置

权利要求书

1.一种用户生成内容UGC的标签数据的生成方法，其特征在于，包括：

获取UGC数据；

对所述UGC数据进行分词，计算各词的词频，选择词频排在前指定位的词组成词表；

计算所述词表中的词的两两之间的词距离，按照所述两两之间的词距离对该词表中的词进行聚类，得到N个词集合；

进行扩展语料处理，包括：对所述各词集合中的每个词进行扩展，得到扩展后词表，计算拓展后词表中的词的两两之间的词距离，按照所述两两之间的词距离对该扩展后词表中的词进行聚类，得到B个词集合；判断B–N是否小于指定值，如果是则跳到下一步，否则对所述B个词集合重复执行扩展语料处理；

从所述B个词集合中识别指定类型的词，根据所识别出的词生成UGC的标签数据；

其中，所述从所述B个词集合中识别指定类型的词，根据所识别出的词生成UGC的标签数据，包括：

从所述B个词集合中识别出属性词集合，生成所述属性词集合对应的情感词集合，查询所述属性词集合中的每个词与对应生成的情感词集合中的每个词两两结合在当前处理的UGC内容中共同出现的比率，得到出现比率在前指定位的属性词和对应的情感词，按照所得到的属性词和对应的情感词生成当前处理的UGC的标签数据。

2.根据权利要求1所述的方法，其特征在于，所述计算所述词表中的词的两两之间的词距离，包括：

针对两词A和B，确定A，B经过翻译得到的外文词的词距离distance1(A,B)；

采用单词连续袋模型计算得到词A与词B之间的向量空间上的相似度distance2(A,B)；

对所述distance1(A,B)和distance2(A,B)进行归一处理，得到该A和B之间的词距离distance(A,B)。

3.根据权利要求2所述的方法，其特征在于，所述确定A，B经过翻译得到的外文词的词距离distance1(A,B)，包括：

利用以下公式(1)计算所述distance1(A,B)：

distance1(A,B)＝

Num(English(A)∩English(B))/min(Num(English(A)),Num(English(B))) (1)

其中，English(A)代表A被翻译成外文的外文词汇集合，Num(English(A))表示集合English(A)中的元素个数；English(B)代表B被翻译成外文的外文词汇集合，Num(English(B))表示集合English(B)中的元素个数，Num(English(A)∩English(B))表示A被翻译成外文的外文词汇集合与B被翻译成外文的外文词汇集合的交集中的元素个数。

4.根据权利要求2所述的方法，其特征在于，所述对所述distance1(A,B)和distance2(A,B)进行归一处理，得到该A和B之间的词距离distance(A,B)，包括：

利用如下公式(2)计算该A和B之间的词距离distance(A,B)；

distance(A,B)＝α*distance1(A,B)+β*distance2(A,B) (2)

其中，α和β为权重系数，α+β＝1。

5.根据权利要求1所述的方法，其特征在于，

所述在聚类后得到N个词集合之后，进一步包括：过滤掉该N个词集合中的单元素词集合，得到N’个词集合，后续步骤中将N替换为N’；

所述在聚类后得到B个词集合之后，进一步包括：过滤掉该B个词集合中的单元素词集合，得到B’个词集合，后续步骤中将B替换为B’。

6.根据权利要求1所述的方法，其特征在于，所述对所述各词集合中的每个词进行扩展，得到扩展后词表，包括：

对所述各词集合中的每个词进行从原始语言类型X到目标语言类型Y的翻译操作，得到一组词，再对该组词中的每一个词进行反向翻译操作，得到的词组成扩展后的词表。