[发明专利]一种文档版本集合的计算方法

说明书

本发明公开了一种文档版本集合的计算方法，属于计算机和大数据应用交叉领域；本发明包括如下步骤：指定URL下载快照，以时间戳为文件名Fn，快照内容为文件内容Content存储；清除html标签和时光机的特殊标签，并将修改后的内容保存；计算Content的MD5值，并修改Content为MD5值、制表符和Fn；上传所有文档到Hadoop集群的HDFS文件系统；Map阶段，将Content拆分，使得key为MD5值，value为Fn，并发送key‑value；Reduce阶段，累加相同key的计数，将value的值Fn连接到container；对于同一个key，组织输出内容为key、count和container。

技术领域

一种文档版本集合的计算方法，是基于互联网时光机(wayback machine)抓取数据的文档版本管理方法，属于计算机和大数据应用交叉领域。

背景技术

公布在互联网的某URL(Uniform Resource Locator,统一资源定位符)是说明文档，通常是该产品的最新版本；一般地，用户可以从时光机查看到某URL所存储的所有说明书文档，以时间点进行存储，即时光机爬虫抓取的时间。

如果在过去十年内，该产品更新了许多版本，只要用户使用的不是该产品的最新版本，则无法在公布的说明文档URL上得到使用文档，通过时光机也无法准确得到某个版本的产品文档。

MD5信息摘要算法(MD5 Message-Digest Algorithm)是一种密码散列函数，可以产生出一个128位的散列值，用于确保信息传输完整一致；将一个文件的所有二进制内容进行MD5计算，就得到文件的MD5值，其特点是，即使只有一个字节被修改，修改前后文件的MD5值也会发生变化；许多语言库函数支持MD5计算，比如PHP语言调用函数MD5(文件名)可以计算得到文件的MD5值。

Hadoop是一个由Apache基金会开发的可运行于大规模计算机集群上的分布式并行编程开源框架，原来是全文检索引擎Lucene的子项目，设计之初是为了处理Lucene抓取的海量索引，包括存储和计算，后来独立成为一个分布式基础构架；它主要包括文件系统HDFS和计算模型MapReduce等模块，MapReduce可以让开发者不用关心分布式计算框架的实现细节，而主要编写自己的处理逻辑；MapReduce程序的核心步骤分两部分：Map和Reduce，Map收到一个计算作业时，首先把计算作业拆分成若干个Map任务，分配到不同的节点上去执行，每一个Map任务处理输入数据的一部分，一般以“键-值对”(key-value)方式存储Map任务处理结果，当Map任务完成后会生成一些中间文件，这些中间文件作为Reduce任务的输入数据，Reduce对数据的“键-值对”做进一步组合处理后输出最终结果；HDFS是分布式文件存储与管理系统，一般建立在操作系统的本地文件系统基础之上，供集群网络的节点使用，在HDFS上，大文件会被分隔成多个数据块分布存储，其高效访问模式是一次写入、多次读取。

HTML(Hyper Text Markup Language)称为超文本标记语言，是一种标识性的语言，它包括一系列标签，通过这些标签可以将网络上的文档格式统一，使分散的Internet资源连接为一个逻辑整体；HTML通常由浏览器读取，按照其标签的要求向用户展示内容，标签由小于号开始，大于号结束，由浏览器负责解释，一般并不会展示在用户内容上。

本发明主要清洗HTML标签，以及所有“script”和“/script”之间的脚本代码，因为此间代码一般不用于阅读，只用于逻辑判定，若代码带时间戳则会影响MD5值的计算，所以删除，这样得到接近浏览器展示的文档内容，然后计算文档内容的MD5值，最后计算相同MD5值的元素，组成文档的版本集合。

发明内容

本发明的目的在于：提供一种文档版本集合的计算方法，通过文挡集合对比，简化了查新、查重的工作。

本发明采用的技术方案如下：一种文档版本集合的计算方法，包括如下步骤：