[发明专利]一种基于链接的双语平行网页识别方法及系统

权利要求书

1.一种基于链接的双语平行网页识别方法，其特征在于，该方法应用于双语网站中，包括：

根据超链接构建网页之间的连接关系，形成一个网络，其中，所述网络中，节点为网页，边为网页之间的超链接；

对所述网络中待识别的网页进行预处理，得到预处理后的网页；

根据网页内部信息对任意两个不同语言的预处理后的网页进行内部翻译相似度的计算，得到两个网页的内部翻译相似度值；

根据网页外部信息对内部翻译相似度较高的两个不同语言的网页进行外部翻译相似度的计算，得到两个网页的外部翻译相似度值；

将所述内部翻译相似度值与外部翻译相似度值融合得到优化翻译相似度值，并迭代计算所述外部翻译相似度值和优化翻译相似度值，直到所述外部翻译相似度值或所述优化翻译相似度值达到稳定；

根据最终得到的优化翻译相似度值识别出双语平行网页。

2.根据权利要求1所述的方法，其特征在于，所述预处理包括：

采用N-gram模型识别所述网页的语言类别；

提取出所述网页的HTML标签序列，并去除描述文字效果的标签；

根据所述网页对应的语言类别的分词方法对所述网页的正文内容进行分词。

3.根据权利要求1所述的方法，其特征在于，所述网页内部信息度包括：网页大小、网页内容、网页结构。

4.根据权利要求3所述的方法，其特征在于，所述内部翻译相似度的计算包括：

计算两个网页大小的比例，其中，如果所述比例小于0.33或大于3，则这两个网页的内部翻译相似度设为0；

统计两个网页内互为翻译的词的个数，计算互译词占所有词的比例，该比值作为基于内容的翻译相似度S_cb；

计算两个网页对应HTML标签序列的最长公共子序列的长度，该长度与两个网页的最长公共子序列长度的平均值的比值作为结构翻译相似度S_struct；

利用如下公式计算两个网页的内部翻译相似度值：

S_int=β·S_cb+(1-β)·S_struct

其中，S_int为两个网页的内部翻译相似度值，β为加权系数，且0≤β≤1。

5.根据权利要求1所述的方法，其特征在于，所述外部翻译相似度的计算包括：

根据所述网络获取内部翻译相似度较高的两个不同语言的网页e和c各自相邻网页的集合neighbor(e)和neighbor(c)；

判断出所述集合neighbor(e)和neighbor(c)中最相似的两个网页；

将所述最相似的两个网页的优化翻译相似度累加到用于记录网页翻译相似度的和的临时变量sum中，同时将两个网页分别从neighbor(e)和neighbor(c)中删除，其中，sum初始值设为0；

当网页集合neighbor(e)和neighbor(c)至少有一个为空时，则根据如下公式计算两个网页的外部翻译相似度值：

S_ext(e,c)=2·sum/(|neighbor(e)|+|neighbor(c)|)

其中，S_ext(e,c)表示网页e和c的外部翻译相似度，|neighbor(e)|表示网页e的相邻网页的个数，|neighbor(c)|表示网页c的相邻网页的个数。

6.根据权利要求1所述的方法，其特征在于，所述优化翻译相似度的计算公式为：

ETS(e,c)=α·S_ext(e,c)+(1-α)·S_int(e,c),α∈[0,1]

其中，ETS(e,c)表示网页e和c的优化翻译相似度，S_ext(e,c)表示网页e和c的外部翻译相似度，S_int(e,c)表示网页e和c的内部翻译相似度，α为加权系数。