[发明专利]一种互联网资源去重的处理方法及系统

说明书

技术领域

本发明涉及网络搜索技术，特别地涉及一种互联网资源去重的处理方法及系统。

背景技术

目前全球共有3亿台Android设备，2010年12月中旬平均每天的激活设备还只有70万台，到了2011年，Android操作系统增长了250%，平均每天有85万台新设备被激活，其中圣诞节周激活设备数量就有370万台。同时Android应用平均每月下载量高达10亿次，Android市场里的应用数量已经超过45万，Android已经成为一个高速增长的生态系统。

随着应用的增加，搜索引擎会收录不同android厂家、不同android提供商的所有资源，包括android网站上的各种资源，这样会有海量的android资源安装包，但是这些海量的资源包中有大部分是重复的，如果直接提供给搜索的用户，因为用户不会知道安装后的资源信息的内容，用户就会不知道下载哪一个，有可能会下重复的资源。

网络上的android资源安装包的信息是由android开发者给出的，但是会经过部分编辑人员的改动，这样与其原本的名字有很大的偏差，为了解决这种偏差，目前采取的解决方式是从安装包中提取信息来进行信息的补充和校准。但海量信息的校准需要大量的人力，信息的准确度上无法保障。

发明内容

本发明解决的技术问题在于提供了一种互联网资源去重的处理方法及系统，以解决现有技术中海量信息校准需要大量人力并且准确度无法保障的问题。

为解决上述问题，本发明一种互联网资源去重的处理方法，包括，

将资源和该资源的描述信息从互联网上进行下载； 

将资源的描述信息放入到数据库中，将资源包进行对应的存储，其中对于具有相同的来源网站，同时资源名字和资源版本相同的资源仅保存一条描述信息；

用提取程序将资源包中的描述信息提取出来，将提取出所述资源包的描述信息更新到数据库中；

利用打分程序针对这每条资源的信息度进行打分并给与相应的分数；

用分组程序将资源包名和资源的名字相同的资源分成一组； 

用选优程序将相同的资源按照资源的评分进行选择提供给用户。

上述的方法中，其中，对于具有相同的来源网站，同时资源名字和资源版本相同的资源仅保存一条描述信息具体为，

在放入数据库之前用来源网站完整域名、资源名字和资源版本到数据库中去查询，如果发现已存在相同的描述信息，则不插入到数据库中。

上述的方法中，其中，所述将提取出所述资源包的描述信息更新到数据库中具体为，

在更新时，在数据库的表中加入字段，然后将对应一条资源包的描述信息提取出来，再更新到数据库的表中。

进一步地，在将资源的描述信息放入到数据库中，将资源包进行对应的存储后，还包括，

将整条资源的所有信息进行一次规整，包括资源包在硬盘下的存入目录。

上述的方法中，其中，所述资源是android资源安装包。

上述的方法中，其中，所述资源的描述信息包括资源名字、资源版本、安全信息、资源大小、资源ico图片、以及资源截图；

所述资源包的描述信息包括资源包名、版本、最低支持的操作系统、资源名字、资源的ico图片。

上述的方法，其中，所述数据库为mysql。

本发明还提供了一种互联网资源去重的处理系统，所述系统包括，

前台处理器，用于将资源和资源的描述信息从互联网上进行下载，以及用于将资源的描述信息放入到数据库中， 对于具有相同的来源网站，同时资源名字和资源版本相同的资源仅保存一条描述信息，将资源包存储到存储服务器中；

存储服务器，用于存储资源包；

数据库，存储所述资源的描述信息；

内容处理服务器，用于采用提取程序将资源包中的描述信息提取出来；以及将提取出的资源包的描述信息更新到数据库中；并且利用打分程序针对这每条资源的信息度进行打分；以及用分组程序将资源包名和资源的名字相同的资源分成一组；用选优程序将相同的资源按照资源的评分进行选择提供给用户。

上述的系统，其中，所述前台处理器对于具有相同的来源网站，同时资源名字和资源版本相同的资源仅保存一条描述信息具体为，

所述前台处理器在将资源的描述信息放入数据库之前用来源网站完整域名、资源名字和资源版本到数据库中去查询，如果发现已存在相同的描述信息就不插入到数据库中；

所述前台处理器还用于将整条资源的所有信息进行一次规整，包括资源包在硬盘下的存入目录。