[发明专利]基于CDN的网页内容感知系统及方法

权利要求书

1.一种基于CDN的网页内容感知系统，其特征在于，包括：

数据获取模块，所述数据获取模块用于采集日志数据；

数据管理模块，所述数据管理模块包括第一存储模块，所述第一存储模块存储有索引表，所述索引表包括特征互联网内容提供商的预定URL(uniform resource locator)及预定URL对应的网页的预定页面结构；

处理模块，所述处理模块从所述日志数据中提取出URL及相关参数，根据所述预定URL从所述URL中筛选出目的URL，并根据所述预定页面结构对所述目的URL的页面结构进行分析以感知所述网页的特征词，并根据所述特征词在网页中的不同权重，综合计算出所述特征词的贡献权重，作为感知结果；以及

控制器，用于控制所述数据获取模块采集日志数据，并控制所述处理模块从所述日志数据中提取出所述URL及相关参数；

所述控制器，还用于控制所述处理模块根据所述预定URL从所述URL中筛选出目的URL，以及控制所述处理模块根据所述预定页面结构对所述目的URL的页面结构进行分析以感知所述网页的特征词。

2.如权利要求1所述的系统，其特征在于，所述处理模块包括：

预处理模块，用于从所述日志数据中提取出URL及相关参数，并根据所述预定URL从所述URL中筛选出目的URL；

结构分析模块，用于根据所述预定页面结构对所述目的URL的页面结构进行分析以获取需要感知的内容块；及

内容感知模块，用于从所述内容块中感知出用于描述所述网页的特征词。

3.如权利要求1或2所述的系统，其特征在于，所述数据管理模块还包括：

第二存储模块，用于存储所述目的URL的网页，所述控制器还用于控制第二控制器存储所述目的URL的网页；及

挖掘模块，用于从所述目的URL对应的网页中挖掘出所述目的URL的网页对应的所述预定页面结构。

4.如权利要求2所述的系统，其特征在于，所述处理模块还包括：

预测模块，用于通过对所述特征词进行统计处理以获取热点内容。

5.如权利要求1所述的系统，其特征在于，所述数据获取模块利用分布式消息队列方式采集日志数据。

6.如权利要求2所述的系统，其特征在于，所述预处理模块基于正则表达式的方法从所述日志数据中提取出URL及相关参数。

7.一种基于CDN的网页内容感知方法，其特征在于，包括以下步骤：

采集日志数据；

从所述日志数据中提取出URL及相关参数；

根据预定URL从所述URL中筛选出目的URL，并根据预定页面结构对所述目的URL对应的网页的页面结构进行分析以感知所述网页的特征词，并根据所述特征词在网页中的不同权重，综合计算出所述特征词的贡献权重，作为感知结果。

8.如权利要求7所述的方法，其特征在于，还包括：

通过对所述特征词进行统计处理以获取热点内容。

9.如权利要求7或8所述的方法，其特征在于，利用分布式消息队列方式采集日志数据。

10.如权利要求7所述的方法，其特征在于，基于正则表达式的方法从所述日志数据中提取出URL及相关参数。