[发明专利]面向新闻网页的正文抽取方法及系统、信息数据处理终端

权利要求书

1.一种面向新闻网页的正文抽取方法，其特征在于，所述面向新闻网页的正文抽取方法基于每个新闻都有对应的时间，对时间进行定位，确定正文位置，进行切块；对所定位的正文进行判断，去除噪音信息，得到准确的正文信息。

2.如权利要求1所述的面向新闻网页的正文抽取方法，其特征在于，所述面向新闻网页的正文抽取方法包括以下步骤：

步骤一，基于新闻网页的都有个时间T这一特点，以T为起点进行正文搜索；

步骤二，统计标签<p>聚集的语义块；

步骤三，计算文本相对于字节数的多少来获取文本密度；

步骤四，计算d的大小；

步骤五，最后用d来判断是否为正文，并去除噪音信息；

步骤六，获取正文信息。

3.如权利要求2所述的面向新闻网页的正文抽取方法，其特征在于，所述面向新闻网页的正文抽取方法以时间T以后的第一个标签</p>所在行为x₀，分别记为x₁,…x_n,x₀与x₁之间的距离记为d₁，x₁与x₂之间的距离记为d₂；其他为d₂,d₃,…,d_n；并且记前一个标签</p>所在行与后面相邻的标签<p所在行的距离d_i对应权值为w_i；

其中，w＝(w₁,w₂,…,w_n)，d＝(d₁,d₂,…,d_n)；

如果d_i为相邻两行时，w_i＝0，且d_i＝1：

说明未出现噪音信息，新闻正文信息抽取正文信息抽取正确；

如果在某一处出现噪音信息，d_i不是相邻两行的距离，设定w_i＝c，d_i＝d其中c，d是很大的正数；

4.一种如权利要求1所述面向新闻网页的正文抽取方法的面向新闻网页的正文抽取系统，其特征在于，所述面向新闻网页的正文抽取系统包括：

搜索模块，用于进行正文搜索；

统计模块，用于统计标签聚集的语义块；

计算模块，用于计算文本相对于字节数的多少来获取文本密度；

判断模块，用于用d判断是否为正文，并去除噪音信息；

获取模块，用于获取正文信息。

5.一种实现权利要求1～3任意一项所述面向新闻网页的正文抽取方法的计算机程序。

6.一种实现权利要求1～3任意一项所述面向新闻网页的正文抽取方法的信息数据处理终端。

7.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-3任意一项所述的面向新闻网页的正文抽取方法。