[发明专利]一种文档版本集合的计算方法

权利要求书

1.一种文档版本集合的计算方法，其特征在于，包括如下步骤：

S1、指定产品文档URL，下载对应时间段的所有快照，以时间戳为文件名变量Fn，快照内容为文件内容Content存储；

S2.判断Content是否需大幅度修改，若无修改需单独保存即保存文档内容，否则进行下一步；

S3.清除html标签和时光机的特殊标签，并将修改后的内容保存为文件内容Content；

S4.计算Content的MD5值，将MD5值和Fn以制表符相隔，并以回车符结束,作为一行内容保存为文件内容Content；

S5.将上述步骤处理完的所有文档，上传到Hadoop集群的HDFS文件系统；

S6.Map阶段，一个文档作为一个Map任务处理，以制表符为令牌，将Content拆分，使得key为MD5值，value为Fn，并发送key-value；

S7.Reduce阶段，key相同的Map任务会被同一个Reduce收集，对于同一个key，每收集一个value，则计数器count加1，value的值Fn被累加到字符串container，并以空格分隔；其中，key是集合的元素，所有key的Fn数量的和，等于本次任务上传的所有文档数量；

S8.对于同一个key，组织输出内容为key、count和container，它们之间也用空格分隔，container末尾以回车符结束；

S9.从HDFS上取回此次任务的输出结果。

2.根据权利要求1所述的一种文档版本集合的计算方法，其特征在于，步骤S3所述清除html标签是清除以小于号和大于号闭合的HTML标签,以及所有“script”和“/script”之间的脚本代码。

3.根据权利要求1所述的一种文档版本集合的计算方法，其特征在于，步骤S3所述时光机的特殊标签是两个特殊引导的标签“Wayback Rewrite JS Include”和“wayback's'DOMContentLoaded line”，删除这两行的所有内容，修改后的内容保存为文件内容Content。

4.根据权利要求1所述的一种文档版本集合的计算方法，其特征在于，步骤9所述输出结果采用表格的形式输出文档版本的MD5值、拥有该值的所有文档数量count及时间戳。

5.根据权利要求4所述的一种文档版本集合的计算方法，其特征在于，所述时间戳以年月日时分秒表示。