[发明专利]汉英跨语言新闻话题检测方法及系统

权利要求书

1.一种汉英跨语言新闻话题检测方法，其特征在于，包括以下步骤：

S1、将跨语言新闻切分为语句，再将所述语句切分为词汇，所述跨语言新闻包括汉语新闻和英语新闻；

S2、将切分后的汉语新闻和英语新闻表示为跨语言广义向量空间内的跨语言向量；

S3、计算汉-汉新闻之间、汉-英新闻之间及英-英新闻之间的语义相似度；

S4、基于步骤S3的计算结果对跨语言新闻进行基于语义的话题聚类，从而找出若干个跨语言话题。

2.如权利要求1所述的方法，其特征在于，步骤S1中，在进行语句切分时采用标点符号判断语句边界；在进行汉语词汇切分时采取双向最大匹配策略判断词汇边界；在进行英语词汇切分时借助空格字符和标点符号判断词汇边界。

3.如权利要求1所述的方法，其特征在于，步骤S2包括：

S21、根据汉英语义知识和汉英平行语料的统计信息，计算词汇间的语义相似度，包括同语言词汇间的语义相似度和汉英跨语言词汇间的语义相似度；

S22、进行基于向量空间模型的跨语言新闻文档表示。

4.如权利要求3所述的方法，其特征在于，步骤S22具体为：通过计算词汇的特征权重进行特征选择，然后用向量表示跨语言新闻；其中，选择权重超过一定阈值的词汇为特征，所述向量的每一维表示一个特征，而向量在这一维上的数值等于该特征的权重。

5.如权利要求4所述的方法，其特征在于，所述跨语言新闻以文档的方式储存，利用下式(1)计算所述特征的权重：

w^s(t，d)＝TF^s(t，d)log(L/DF^s(t))    (1)

其中，t为特征词，d为目标新闻文档，TF^s为特征词t在文档d中的软词频，DF^s为t的软文档频，L为文档d包含的词汇总数。

6.如权利要求5所述的方法，其特征在于，利用下式(2)计算所述软词频TF^s：

TF^s(t，d)＝∑_iTF_i×Sim^WD(t，w_i)    (2)

其中，w_i为文档d所包含的第i个词汇，Sim^WD是计算词汇语义相似度的函数。

7.如权利要求6所述的方法，其特征在于，利用下式(3)计算所述软文档频DF^s：

DFs(t)=Σdj∈DmaxiSimWD(t,wi,j))---(3)]]>

其中D为跨语言新闻文档集合，w_i，j为第j个新闻文档d_j所包含的第i个词汇。