[发明专利]一种倾向性文本自动分类系统及其实现方法

说明书

技术领域

本发明涉及自然语言处理技术领域、文本数据挖掘、文本自动化分类技术领域，特别是涉及一种倾向性文本自动化分类系统，具体地说涉及一种基于句法和依存关系的倾向性文本自动化分类系统。

背景技术

对文本数据进行自动化分类是文本数据挖掘、自然语言处理等人工智能技术的重要应用领域，其主要功能是把以数字化形式存储的非结构化文本数据，通过自然语言处理技术、文本数据挖掘技术，自动按照事先组织好的与具体业务相关的类别进行分类。随着信息技术的不断发展和信息系统应用范围的不断深化，对文本数据进行自动化分类是提高企业生产效率和竞争优势的重要技术措施。

倾向性文本又称情感文本，是与主要陈述事实的客观性文本相对应的主要表达意见或情感的主观性文本。倾向性文本自动化分类系统是对文本数据中的情感进行多层级的细致分类，挖掘文本潜在的情感表达，进而发掘用户的兴趣与需求，对企业未来的发展提供决策依据具有很重要的意义。

更具体的，对于需要处理大量文本数据的行业而言，随着各类数字化业务的开拓，需求将不断增强，伴随而来的是传统的人工处理方式劳动强度的增加，如何在海量的资料中挖掘用户对产品的情绪，发掘用户的兴趣与需求都是大数据处理行业面对的直接挑战。

因此寻找一条科学的倾向性文本自动分类方法，在最大程度上减轻数据处理人员的压力与提高服务质量是一个迫切的任务。

发明内容

本发明的目的在于提供一种能够对倾向性文本进行多层级的细致的自动化分类系统及其实现方法，并使用户能对业务相关知识进行管理，根据具体业务调整分类结果。

为实现上述发明目的，本发明提供的一种倾向性文本自动分类系统及其实现方法，包括依存关系分析模块，用于对中文句子进行依存关系分析；中文分词模块，用于对中文句子进行分词；句法分析模块，用于对分词后的中文句子进行句法分析；多层级情感分类句模库，用于对与业务相关知识进行管理；其特征在于：多层级情感分类句模库分为态度文法、感受文法和思想文法三大类120个小类，根据汉语使用规则和业务相关知识手工整理而成；对多层级情感分类句模库中所有句模进行句法分析，建立句法树库；对多层级情感分类句模库中所有句模进行依存关系分析，建立依存关系图库；对待分类句子进行中文分词和句法分析，将句法分析的结果与句法树库中候选分类下的每个句模的句法树进行匹配，按照相关算法依次计算每个句模的句法树与待分类句子对应的句法树的匹配程度得分；对待分类句子进行依存关系分析，将依存关系分析的结果与依存关系图库中候选分类下的每个句模的依存关系图进行匹配，并按照相关算法依次计算每个句模对应的依存关系图与待分类句子对应的依存关系图的匹配程度得分；每个句模的两次得分相加为该句模与待分类句子匹配程度的总得分，总得分最高的句模所属的分类为最终分类结果。

上述的多层级情感分类句模库要对其中的句模进行依存关系分析，建立依存关系图库。

上述的多层级情感分类句模库要为其中的句模进行句法分析，建立句法树库。

本发明相比现有技术突出的优点是：

本发明采用基于统计的方法和基于规则的方法相结合的方法，提高倾向性文本自动分类的准确性和灵敏度。基于统计的方法是指本发明采用的分词模块和句法分析模块分别使用美国斯坦福大学自然语言处理小组推出的中文分词器和句法分析器；本发明采用的依存关系分析模块使用哈尔滨工业大学社会计算与信息检索研究中心推出的语言技术平台。这三个软件都采用了多种基于统计的机器学习算法对句子进行分析。基于规则的方法是指多层级情感分类句模库根据汉语使用规则和业务相关知识手工整理而成。本发明的分类算法是对待分类句子进行分析后与句模库进行匹配，故本发明不需要使用任何测试语料，对单个句子只要能与句模库匹配就能准确分类。

附图说明

图1是本发明的一个实施例的软件操作界面显示图；

图2是本发明的一个实施例的句法分析模块可视化结果示意图；

图3是本发明的一个实施例的依存关系模块可视化结果示意图；

图4是本发明的一个实施例的多层级情感分类句模库层次结构示意图；

图5是本发明的一种倾向性文本自动分类系统及其实现方法的基本模块关系图；

图6是本发明的一种倾向性文本自动分类系统及其实现方法的分类算法流程图。

具体实施方式