[发明专利]一种跨语言的主题网站自动发现方法

说明书

本发明公开了一种跨语言的主题网站自动发现方法，所述方法根据种子网站或关键词集生成多语言主题模型，依据主题模型中的关键字进行网页信息采集，通过对相关网页进行聚类分析找出备选主题网站，将主题网站翻译后提供给用户，并根据用户反馈改进系统性能。本发明借助已有机器翻译引擎和网页信息采集系统辅助实现多种语言的主题相关网站自动发现，并设计人机协同机制将自动发现结果的准确性反馈给系统，逐步提升系统的性能；本发明实现了跨语言的主题网站自动发现；本发明提出了时序主题模型提取方法，提升了主题网站筛选的精度。

技术领域

本发明属于互联网技术领域，尤其涉及一种跨语言的主题网站自动发现方法。

背景技术

随着互联网应用的推广，网络已经成为人们获取公开信息的最重要的途径，尤其是其全球互联的性质，可以让人们轻松获取世界各地所产生的信息，成为人们信息交互、文化交流的重要途径。但是网络信息的爆炸式增长也给人们获取特定信息带来不便。一方面，如何从海量信息中搜集到真正符合需求的内容是一个难点，即便是借助主流的搜索引擎，其搜索结果中往往也掺杂着大量无关信息，导致搜集有效信息的效率低下。另一方面，语言不通问题限制了人们获取其他语种信息的欲望和能力，外语信息的获取需要借助语言工作者的翻译和转载，导致信息的时效性大大降低。因此，如何准确并迅速的获取有效信息成为信息工作者所面临的重要问题。为了快速获取特定领域的信息，信息工作者通常会关注一些特定网站，并实时留意网站更新的内容。这些网站是与其领域相关性强，信息相关度高，内容较权威的站点，因此信息的有效性和时效性相对较高，是重要信息的主要来源。发现这些特定主题的网站对于信息工作者而言意义重大。然而网络世界繁杂且瞬息万变，每天都有可能有新的网站建立起来，一些有用网站尤其是外语网站很难被发现，如果采用人工搜索其工作量巨大且效率低下。而目前已有的主题网站自动发现方法主要存在两个问题：1，只针对单种语言，没有考虑外语主题网站的发现；2，主题模型仅采用一组关键词，没有考虑主题网站发布的内容随时间的演变，导致主题模型对网站内容描述能力较弱，将新发现网站与目标网站进行对比匹配时效果不好。

综上所述，目前已有的主题网站自动发现方法主要存在只针对单种语言，没有考虑外语主题网站的发现；主题模型仅采用一组关键词，没有考虑主题网站发布的内容随时间的演变，导致主题模型对网站内容描述能力较弱，将新发现网站与目标网站进行对比匹配时效果不好。

发明内容

本发明的目的在于提供一种跨语言的主题网站自动发现方法，旨在解决目前已有的主题网站自动发现方法主要存在只针对单种语言，没有考虑外语主题网站的发现；主题模型仅采用一组关键词，没有考虑主题网站发布的内容随时间的演变，导致主题模型对网站内容描述能力较弱，将新发现网站与目标网站进行对比匹配时效果不好的问题。

本发明是这样实现的，一种跨语言的主题网站自动发现方法，所述跨语言的主题网站自动发现方法根据种子网站或关键词集生成多语言主题模型，依据主题模型中的关键字进行网页信息采集，通过对相关网页进行聚类分析找出备选主题网站，将主题网站翻译后提供给用户，并根据用户反馈改进系统性能；

具体包括：