[发明专利]一种研报正文的文本分类方法

说明书

本发明涉及一种研报正文的文本分类方法，过程为：首先收集一定数量的研报，对收集的研报段落进行标注形成样本；然后将标注好的样本交给机器学习框架进行训练、得到一个综合的训练模型；最后将需要识别的原始研报文件经过内容提取、文本降噪处理后，由综合训练模型完成对研报内容的提取分类。本方法有效提高对研报段落进行提取与分类的准确度，提高对研报的文本分析能力。

技术领域

本专利申请属于机器学习技术领域，更具体地说，是涉及一种研报正文的文本分类方法。

背景技术

目前现有成熟的自然语言处理技术能够识别出研报中的实体，可以将研报进行分类，比如分成个股研报、行业研报、期货研报等等，但是如果需要对研报中的每个段落进行分类的话，比如个股研报包括核心观点、客观论述、盈利预测、风险提示，那么现有的文本分类技术显然是满足不了需求的。

同时目前的深度学习模型主要包括TextCnn、LSTM、FastText等模型，这些模型都是基于神经网络的深度学习模型，擅长单文本分类，但是对段落提取与分类准确度非常的低。

发明内容

本发明需要解决的技术问题是提供一种研报正文的文本分类方法，有效提高对研报段落进行提取与分类的准确度。

为了解决上述问题，本发明所采用的技术方案是：

一种研报正文的文本分类方法，过程为：

a、收集一定数量的研报，对收集的研报段落进行标注形成样本；

b、将标注好的样本交给机器学习框架进行训练、从而得到综合训练模型；

c、最后将需要识别的原始研报文件经过内容提取、文本降噪处理后，由综合训练模型完成对研报内容的提取分类。

本发明技术方案的进一步改进在于：a中，对收集的研报段落通过手工进行标注。

本发明技术方案的进一步改进在于：b中，综合训练模型包括若干个神经网络训练模型，神经网络训练模型包括FastText、LSTM、TextCnn的一种或多种。

本发明技术方案的进一步改进在于：c中，通过文本解析工具将需要识别的原始研报文件的内容提取出来，文本解析工具为pdf解析工具。

本发明技术方案的进一步改进在于：降噪处理包括文本文字格式统一、标点符号全角半角统一、文本查漏补缺、灰度处理的一种或多种。

本发明技术方案的进一步改进在于：综合训练模型通过文章段落规则对需要识别的原始研报文件进行段落提取和分类，文章段落规则为按照段落内容将段落分成若干个子内容，子内容包括摘要、核心观点、客观论述、盈利预测或风险提示的一种或多种。

由于采用了上述技术方案，本发明取得的有益效果是：本发明对段落提取与分类准确度高，研报的解析效率较高，同时准确率得到提升，进而提高对研报的文本分析能力，为研报的深度解析处理提供依据。

附图说明

图1为本发明的流程示意图。

具体实施方式

下面结合实施例对本发明做进一步详细说明。

如图1所示，本发明公开了一种研报正文的文本分类方法，过程为：

a、收集一定数量的研报，对收集的研报段落进行标注形成样本；

b、将标注好的样本交给机器学习框架进行训练、从而得到综合训练模型；

c、最后将需要识别的原始研报文件经过内容提取、文本降噪处理后，由综合训练模型完成对研报内容的提取分类。

a中，对收集的研报段落通过手工进行标注，工作量为几千至上万条。