[发明专利]一种面向新闻优化阅读类移动应用的自动摘要方法

说明书

技术领域

本发明涉及一种自动摘要方法，具体讲涉及一种面向新闻优化阅读类移动应用的自动摘要方法。

背景技术

近年来互联网的迅猛发展，每天都有大量信息以电子文档的形式出现在人们面前。人们越来越多地依赖于互联网来获取所需要的信息，面对每天扑面而来的海量信息，需要过滤大量的信息，才能得到需要的信息，为了从海量电子信息中快速而准确地获取有用信息，文档的自动摘要处理变得越来越重要。

从初期PC发展到现在智能手机，人们已开始从单一传统的PC端浏览信息，转向手机移动端。面对手机的小屏幕，对自动摘要的需求也更为迫切。

自动摘要是指通过计算机程序自动提取文档主题思想，将提取出的重要信息经过重组修饰后生成比原文更精练，更易理解的文摘。只要阅读少量的文摘即可以快速、轻松地了解原文，而无须去通读全文，大大提高了人们获取电子文本信息的效率。目前主要自动文摘技术分为两类:基于统计的机械摘要方法和基于知识的理解摘要方法。机械摘要使用统计方法来获取文档的关键词，并结合提示词、位置等启发信息，从文档中挑选出一些合适的句子，进行润色后得到文档的摘要。理解摘要期望利用各种知识和形式化理论，在理解文档语义内容的基础上生成文摘(对原文的概括或浓缩)。

机械摘要具有速度快、领域不受限的特点，但生成的摘要质量较差，存在反映内容不够全面、语句冗余等问题。与机械摘要相比，理解摘要质量较好，具有简洁精炼、全面准确、可读性强等优点。但是，理解摘要不仅要求计算机具有自然语言理解和生成能力，还需要表达和组织各种背景、领域知识。这些工作的难度十分巨大，迄今为止进展甚微。因此，理解摘要方法的使用比较少见，仅限于非常狭小的应用领域中。

发明内容

针对现有技术的不足，本发明提出一种面向新闻优化阅读类移动应用的自动摘要方法。基于移动端的特殊性，设计一种带格式的自动摘要，来提高用户体验的舒适度。本发明结合html样式自动生成摘要，保留了原文的图片和表格，并对重要信息进行了前后扩展，提高了内容了的完整性和连贯性。避免了摘要的样式单调、生硬和断层，优化了移动端的新闻阅读。

本发明的目的是采用下述技术方案实现的：

一种面向新闻优化阅读类移动应用的自动摘要方法，其改进之处在于，所述方法包括

(1)预处理新闻网页内容；

(2)提取文本摘要；

(3)生成结果。

优选的，所述步骤(1)包括

(1.1)加载词典和停用词；

(1.2)把新闻网页内容根据html标签分块，记为k_i；

(1.3)分别对每一个k_i切句，切句的方法以段落结束符和句号来划分句子；

(1.4)抽取每句的html标签h_i和文本s_i；

(1.5)记录每句的h_i和文本s_i的对应位置；

(1.6)对文本s_i分词；

(1.7)去停用词和其它噪声，记为word_i。

进一步地，所述每个word_i为去除停用词后的词序列。

优选的，所述步骤(2)包括

(2.1)计算word_i和word_j的共现相似度sim_i,j；

(2.2)根据公式pr_i＝1-d/m+d*Σsim_j,i*pr_j/out_j进行迭代，

(2.3)按照s_i的pr_i值进行倒排序，生成句子序列s_k；

其中，word_i为句子文本s_i对应的词序列，word_j为句子文本s_j对应的词序列，sim_i,j为句子i对句子j的贡献值，d∈(0,1)，m为矩阵最大维数，out_j为句子顶点j的出度，pr的初始值为1/m，收敛精度为0.001。

优选的，所述步骤(3)包括

(3.1)从s_k中取出前L句；

(3.2)对取出的前L句，进行前后扩展，得集合s_l；