[发明专利]一种实现流式和多模式快速查找网页中URL链接的方法

摘要

本发明公开了一种实现流式和多模式快速查找网页中URL链接的方法。本发明首先创建链接标签匹配关键词字典，在字典中加入要处理的链接标签匹配关键词记录。其次读取Web服务器返回的一个响应数据包，将响应数据包的第一个字节地址设为数据处理起始点。对读取的当前字节与链接标签关键词字典中的一个标签关键词的左端边界或右端边界进行匹配；直到该响应的所有数据包处理完毕后如果非标签缓冲区不为空，则将非标签缓冲区数据发送给客户端。本发明利用流式思想，对收到的数据包即可进行操作并转发，不需要对所有数据进行缓存才能进行操作，提高了时间效率的同时也减轻了代理服务器的负担，增强了系统的健壮性。

主权项

一种实现流式和多模式快速查找网页中URL链接的方法，其特征在于包括如下步骤：步骤1：初始化系统：创建链接标签匹配关键词字典，在字典中加入要处理的链接标签匹配关键词记录；每一条链接标签匹配关键词记录包含一个左端边界、一个右端边界、一个左端边界需匹配位置、一个右端边界需匹配位置以及关键词的处理函数；设当前正在匹配的链接标签匹配关键词为空，同时设标签跨数据块标记为假；步骤2：读取Web服务器返回的一个响应数据包，将响应数据包的第一个字节地址设为数据处理起始点；步骤2.1：读取响应数据包中的当前字节，判断是否为响应数据包结束标记；如果该字节不是响应数据包的结束标记，跳转到步骤2.2；否则跳转到步骤3；步骤2.2：检查当前正在匹配的链接标签匹配关键词是否为空，如果不为空跳转到步骤2.6；否则，跳转到步骤2.3；步骤2.3：将读取的当前字节与链接标签匹配关键词字典中所有标签关键词的左端边界进行匹配；如果某一标签关键词的左端边界已经被完全匹配，则设置该标签关键词为当前正在匹配的标签关键词，跳转到步骤2.4；否则将读取的字节与链接标签匹配关键词字典中的一个标签关键词的左端边界进行匹配的流程重复进行，直至所有标签关键词都和该读取的字节进行过匹配，然后跳转到步骤2.5；步骤2.4：提取数据处理起始点与当前读取的数据之间的数据，并将提取的数据放入非标签数据缓冲区中；步骤2.5：将数据包的当前处理字节位置向后移动一个位置，跳到步骤2.1；步骤2.6：将读取的字节与当前正在匹配的标签关键词的右端边界进行匹配；如果该标签关键词的右端边界已经被完全匹配，跳转到步骤2.7；否则，跳转到步骤3；步骤2.7：如果标签跨数据包标记为假，则将标签左端边界与右端边界之间的数据添加到待处理链接缓冲区中；否则，将数据处理起始点与当前处理关键词右端边界之间的数据添加到待处理链接数据缓冲区之中；跳转到步骤2.8；步骤2.8：调用该标签关键词对应的转换函数处理待处理链接数据缓冲区中的数据，然后将非标签缓冲区数据和处理后的待处理链接缓冲区数据合并后发送给客户端，再将数据处理起始点定位到右端边界之后，同时清空非标签缓冲区以及待处理链接缓冲区数据，重置所有标签关键词左端边界和右端边界的需匹配位置到起始位置，重设标签跨数据包标记为假；跳转到步骤2.5；步骤3：如果还未完全匹配左端边界，跳转到步骤3.1；否则，到步骤3.2；步骤3.1：将数据处理起始点与该数据包结束位置之间的内容添加到非标签缓冲区中，跳转到步骤4；步骤3.2：如果标签跨数据包标记为假，将左端边界与当前读取到的数据之间的内容添加到待处理链接缓冲区之中，设右端边界为真，跳转到步骤4；否则，跳转到步骤3.3；步骤3.3：将数据处理起始点与当前读取字节位置之间的数据添加到待处理链接缓冲区，跳转到步骤4；步骤4：重复步骤2‑3，直到该响应的所有数据包处理完毕，然后跳转到步骤5：步骤5：如果非标签缓冲区不为空，则将非标签缓冲区数据发送给客户端。