[发明专利]一种基于链接的双语平行网页识别方法及系统

说明书

技术领域

本发明涉及计算机技术领域，更具体的说，是涉及一种基于链接的双语平行网页识别方法及系统。

背景技术

双语语料在机器翻译、跨语言信息检索等领域中具有极其重要的作用。但通过人工构建双语语料往往费时费力。近年来，互联网发展迅猛，提供了海量的信息，其中不乏双语资源。一些网站为了国际化的需要，提供了两种或两种以上的语言版本的网页，这些网页使用的语言不同，但其中的内容互为翻译，这样的网页被称为双语平行网页。双语平行网页是双语语料的重要来源。

目前，在互联网中识别双语平行网页进而提取出其中的双语资源，采用的方法主要有：锚文本法、网页地址（Uniform Resource Locator，URL）匹配法、网页结构相似度法等。其中，锚文本法主要依赖于网页中带有语言信息的锚文本来识别与其平行的网页。比如，中文网页A的头部存在“English Version”这一锚文本，同时该锚文本指向了英文网页B，则可以判断网页A和B为双语平行网页。而URL匹配方法则依赖于网页的URL相似度，比如，两个不同语言网页的URL分别为“http://www.aaa.com/index_ch.html”和“http://www.aaa.com/index_en.html”，可以预先构建ch与en的对应关系，然后判断这两个网页是否平行。网页结构相似度法主要计算两个网页的结构相似度，根据结构的相似性来判断网页是否互译。

现有的锚文本法以及URL匹配法通用性都很低，并不是所有双语网站中的平行网页都具有其实施所需求的特点，而对于网页结构相似度法，其识别准确性较低。

因此，提供一种通用性更强、计算结果更准确的双语平行网页识别方法及系统，是本领域技术人员亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种基于链接的双语平行网页识别方法及系统，在提高双语网站中平行网页识别的通用性的同时，具有更高的准确性。

为实现上述目的，本发明提供如下技术方案：

一种基于链接的双语平行网页识别方法，该方法应用于双语网站中，包括：

根据超链接构建网页之间的连接关系，形成一个网络，其中，所述网络中，节点为网页，边为网页之间的超链接；

对所述网络中待识别的网页进行预处理，得到预处理后的网页；

根据网页内部信息对任意两个不同语言的预处理后的网页进行内部翻译相似度的计算，得到两个网页的内部翻译相似度值；

根据网页外部信息对内部翻译相似度较高的两个不同语言的网页进行外部翻译相似度的计算，得到两个网页的外部翻译相似度值；

将所述内部翻译相似度值与外部翻译相似度值融合得到优化翻译相似度值，并迭代计算所述外部翻译相似度值和优化翻译相似度值，直到所述外部翻译相似度值或所述优化翻译相似度值达到稳定；

根据最终得到的优化翻译相似度值识别出双语平行网页。

优选的，所述预处理包括：

采用N-gram模型识别所述网页的语言类别；

提取出所述网页的HTML标签序列，并去除描述文字效果的标签；

根据所述网页对应的语言类别的分词方法对所述网页的正文内容进行分词。

优选的，所述网页内部信息度包括：网页大小、网页内容、网页结构。

优选的，所述内部翻译相似度的计算包括：

计算两个网页大小的比例，其中，如果所述比例小于0.33或大于3，则这两个网页的内部翻译相似度设为0；

统计两个网页内互为翻译的词的个数，计算互译词占所有词的比例，该比值作为基于内容的翻译相似度S_cb；

计算两个网页对应HTML标签序列的最长公共子序列的长度，该长度与两个网页的最长公共子序列长度的平均值的比值作为结构翻译相似度S_struct；

利用如下公式计算两个网页的内部翻译相似度值：

S_int=β·S_cb+(1-β)·S_struct

其中，S_int为两个网页的内部翻译相似度值，β为加权系数，且0≤β≤1。

优选的，所述外部翻译相似度的计算包括：

根据所述网络获取内部翻译相似度较高的两个不同语言的网页e和c各自相邻网页的集合neighbor(e)和neighbor(c)；

判断出所述集合neighbor(e)和neighbor(c)中最相似的两个网页；