[发明专利]一种基于HTML标签识别异步加载内容的搜索引擎优化方法

说明书

一种基于HTML标签识别异步加载内容的搜索引擎优化方法，步骤如下：1)在网页上定义一种可识别的HTML标签，当网页爬虫抓取页面时，爬虫识别指定HTML标签；搜索器利用网络爬虫抓取HTML文本内容；2)爬虫利用正则表达式匹配指定标签，如果没有匹配到该标签则进行6)，如果匹配到进行3)；3)遍历标签并识别标签中的链接属性，将属性中的url放入内存中；4)读取内容中存储的url，利用多线程发送请求；5)将请求返回的文本信息拼接到HTML文档对应的位置；6)对HTML文档内容进行编码压缩存入网页库。

技术领域

本发明属于计算机处理技术的服务发现领域，具体涉及一种基于HTML标签识别异步加载内容的搜索引擎优化方法。

背景技术

随着阿里、百度、腾讯等企业的成功，互联网思维越来越频繁的被大家所提及。越来越多的公司开始利用互联网提升自身企业的知名度，展示企业产品，介绍企业服务。利用百度、谷歌等搜索引擎的规则，提高网站在有关搜索引擎内的自然排名，这样的工作被称为搜索引擎优化(Search Engine Optimization，SEO)。

搜索引擎中有搜索器即网络爬虫，是一种自动获取网页内容的程序。是搜索引擎的重要组成部分传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。通俗的讲，也就是通过源码解析来获得想要的内容。

聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。

由于搜索引擎不会收录异步加载的内容，因此，一直以来页面内容的展现都会受到SEO的制约。如果页面内容过多则可能导致响应速度变慢；如果将页面内容按模块拆分，则会影响搜索引擎的收录效果；如果引入缓存，则会增加的系统的复杂度。另一方面如果多个系统都包含一个重复模块的话，将共用模块抽取出来，然后在异步加载无疑是一个不错的方案，但是考虑到seo的话，又不得不放弃。因此我们希望能够定义一个特殊的HTML标签，标签的文档是异步加载出来的。搜索引擎识别该标签，并将该标签中的文档信息加载到原来抓取的内容中。这样可以优化用户体验、方便程序设计同时不影响搜索引擎的收录。

发明内容

为解决现有技术存在的问题，本发明目的是，提出一种基于HTML标签识别异步加载内容的搜索引擎优化方法；在网页上定义一种可识别的HTML(超文本标记语言)标签，当网页爬虫抓取页面时，如果识别到该标签则会进入发起请求，并将请求响应的内容和当前文档一并返回。

本发明技术方案，一种基于HTML标签识别异步加载内容的搜索引擎优化方法，具体步骤如下：

步骤1：在网页上定义一种可识别的HTML(超文本标记语言)标签，当网页爬虫抓取页面时，爬虫识别指定HTML标签；搜索器利用网络爬虫抓取HTML文本内容，

步骤2：爬虫利用正则表达式匹配指定标签<async></async>，如果没有匹配到该标签则进行步骤6，如果匹配到进行步骤3，

步骤3：遍历标签并识别标签中的链接属性，将属性中的url(统一资源定位符)放入内存中；

步骤4：读取内容中存储的url，利用多线程发送请求；

步骤5：将请求返回的文本信息拼接到HTML文档对应的位置；

步骤6：对HTML文档内容进行编码压缩存入网页库。