[发明专利]一种网页请求信息的响应方法及装置

说明书

技术领域

本申请涉及网页处理的技术领域，特别是涉及一种网页请求信息的响应方法，以及一种网页请求信息的响应装置。

背景技术

现在互联网应用进入Web2.0时代，应用端的表现越来越丰富，对于前端页面的性能要求也越来越高，为使用户提供更为自然的浏览体验，很多大型网站多使用Ajax(Asynchronous JavaScript and XML，异步JavaScript和XML)加载技术加载页面。

借助Ajax异步加载技术，可以在用户在网页上进行操作时，使用JavaScript(客户端Web开发的脚本语言)和DHTML(Dynamic html，动态html)立即更新页面，并向服务器发出异步请求，以执行更新或查询数据库。当请求返回时，就可以使用JavaScript和CSS(Cascading StyleSheet，可译为“层叠样式表”或“级联样式表”)来相应地更新页面，而不是刷新整个页面。这意味着可以在不重新加载整个网页的情况下，对网页的某部分进行更新。从而把以前的一些服务器负担的工作转嫁到客户端，利于客户端闲置的处理能力来处理，减轻服务器和带宽的负担，从而达到节约ISP(Internet Service Provider，互联网服务提供商)的空间及带宽租用成本的目的。

以上现有技术中存在的问题是，Ajax技术利用JavaScript动态生成页面时，页面没有刷新过程，因此源代码中没有页面内容，爬虫分析源代码的时候，无法获取到页面内容，从而使得搜索引擎无法搜索到该网站的数据，降低了网站的SEO(Search Engine Optimization，搜索引擎优化)数据，进而降低网站在搜索引擎中的排名。

因此，目前需要本领域技术人员解决的一个技术问题就是，提供一种网页请求信息的响应机制，从而使网站使用Ajax技术提高性能的前提下，保证爬虫获取访问网页时可以读取到网页内容，SEO数据不受影响。

发明内容

本申请提供一种网页请求信息的响应方法，从而使网站使用Ajax技术提高性能的前提下，保证爬虫获取访问网页时可以读取到网页内容，SEO数据不受影响。

本申请还提供了一种网页请求信息的响应装置，用以保证上述方法在实际中的应用及实现。

为了解决上述问题，本申请公开了一种网页请求信息的响应方法，包括：

接收用户的网页请求信息，所述网页请求信息包括用户标识；

在预置的爬虫标识数据库中搜索是否存在所述用户标识；

若是，则确定所述用户为爬虫，并返回该网页的html文本和JavaSript代码；

若否，则确定所述用户不是爬虫，并返回该网页的JavaSript代码。

优选地，所述用户标识为用户代理User-Agent，所述爬虫标识数据库包含多个爬虫的用户代理User-Agent。

优选地，所述该网页的html文本中包括该网页的页面内容。

优选地，在确定该用户不是爬虫，并返回该网页的JavaSript代码的步骤之后，所述方法还包括：

依据所述该网页的JavaSript代码发起Ajax异步加载。

优选地，在确定该用户不是爬虫，并返回该网页的JavaSript代码的同时，返回该网页主屏html文本。

优选地，在接收用户的网页请求信息的步骤之前，所述方法还包括：依据用户输入的网页URL生成网页请求信息；在接收用户的网页请求信息的步骤之后，所述方法还包括：提取所述网页请求信息中的用户标识。

本申请还提供了一种网页请求信息的响应装置，包括：

网页请求信息接收模块，用户接收用户的网页请求信息，所述网页请求信息包括用户标识；

用户标识搜索模块，用于在预置的爬虫标识数据库中搜索是否存在所述用户标识；

爬虫响应模块，用于若是，则确定所述用户为爬虫，并返回该网页的html文本和JavaSript代码；

非爬虫响应模块，用于若否，则确定所述用户不是爬虫，并返回该网页的JavaSript代码。

优选地，所述用户标识为用户代理User-Agent，所述爬虫标识数据库包含多个爬虫的用户代理User-Agent。

优选地，所述该网页的html文本中包括该网页的页面内容。

优选地，在确定该用户不是爬虫，并返回该网页的JavaSript代码的同时，返回该网页主屏html文本。

与现有技术相比，本申请具有以下优点：